Hey erster Beitrag, ich buhle direkt nach hilfe. Denke hier bin ich richtig. Lese seit Jahren immer mal wieder als Referenz den Wiki. Kenne das ganze seit meiner Ausbildung 2016 das Projekt , erstmal super Ding hat mir sehr weitergeholfen. Wie kann ich über die .htaccess korrekt gegen Bots mich absichern. Ist jetzt wohl eher eine Frage an Systemadministratoren, Admins, Leute die eigene lokale Webserver noch betreiben. Die Datei ist für einen JTL-Shop den ich mit verwalte. Also eigentlich meine Arbeit. Eigentlich dachte ich verstehe es, doch nach Internet Recherche, ChatGPT befragen bin ich ratlos. Habe meinen Access Log heute früh erneut geprüft nur um festzustellen das weiterhin Anfragen durchgewunken werden. Vielleicht herrscht von meiner Seite aus auch ein Verständnis Fehler was diese Meldungen im Log sind. Nur bräuchte ich eine Erklärung. Es gibt hierfür natürlich mehrere Plugins, [LilFOOT SpamProtector Lite](https://www.jtl-software.de/extension-store/lilfoot-spamprotector-lite-jtl-shop-5), [BotBlock PHP 8.2](https://www.jtl-software.de/extension-store/botblock-php-82-jtl-shop-5) [Leitfäden von Hosting-Anbietern](https://www.estugo.de/howsting/bad-bots-und-spam-crawler-was-sind-sie-und-wie-kannst-du-sie-blockieren/), nur kann und möchte ich nicht unbedingt dafür jetzt direkt einen Drittentwickler ins Boot holen. Der mit dem Plugin noch die Ladezeit im Frontend auf dem Shop verschlechtert. Gründe finden hierzu sind vielfältig. Wie auch einfach. Die Blacklist der Bots in die robots.txt hereinzuschreiben wirkt ein wenig primitiv auf mich. Da es auch kein anderer der genannten Entwickler scheinbar so macht. **Zum Problem:** Ich habe trotz der Regel noch im access log viele Anfragen von KI Scrappern wie GPTbot, Claudebot. Obwohl ich explizit bestimmte User Agents blockiere. Diese denke ich zerren an der Performance von der Seite, Webserver. Verzerren natürlich jegliche Statistik. Gut ich nutze Browserfingerprinting. Doch die Anzahl an echten Anfragen, würde mich schon interessieren. Wenn ich das richtig gesehen haben von im Webalizer sind wir bei ca. ~800.000 Seiten. Ich habe mich ein wenig belesen und mitbekommen, wenn eine Webseite über einen CDN Anbieter wie Cloudflare gehostet wird besteht die Möglichkeit von Region, Bot Blockierung. Das wäre eine mögliche Lösung. Alternativ lässt sich diese Regeln performanter über SetEnvIf definieren. Nur diese Lösung(en) habe ich noch nicht probiert. Root-Access/SSH-Zugang zum Webserver habe ich an sich nicht, würde mich da auch erstmal nicht ran trauen. Provider für den Webserver ist All-Inkl. Habe einen Kontakt zu denjenigen der wohl als Mittelsmann für uns die Web Server Verwaltung übernimmt. Wir selben haben also direkt keinen Vertrag mit All-Inkl. Habe 2 Screenshots angehängt. Da ich leider nicht die komplette .htaccess hochladen kann. Aus beachtet gerne die zweite mod_rewrite.c in welcher die Bedingungen festgelegt sind. Ich nutze zum anderen hier die vorgeschriebenen Bedingungen von [Apache Ulimate Bad Bot Blocker](https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker). Freue mich und bedanke mich vor ab schon mal für die Aufmerksamkeit und jegliche Hilfestellung. Denke mal der Schwarm wird schon gute Ideen, Vorschläge haben. [](/images/871fe260-316b-11f0-8c93-9c6b00263d9f.png) [](/images/90a1a4f4-316b-11f0-b89d-9c6b00263d9f.png) Access Log (eingekürzt aus Datenschutz Gründen) ~~~ 20.171.207.3 - - [13/May/2025:23:59:55 +0200] "GET /120_52__45_5__90_4__50_9__75_66?af=20 HTTP/2.0" 200 48332 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)" "Traffic IN:193 OUT:48803" "ReqTime:0 sec" 40.77.167.255 - - [13/May/2025:23:59:57 +0200] "GET /120_6::marken/vormann__45_5__80_8__120_6__45_84__30_7__gerollt-breit HTTP/2.0" 200 48251 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36" "Traffic IN:299 OUT:48714" "ReqTime:0 sec" 3.145.115.135 - - [13/May/2025:23:59:58 +0200] "GET /T-5__WIHA_1__2-Komponentengriff__T-25__T-30__T-8 HTTP/2.0" 200 48943 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)" "Traffic IN:201 OUT:49265" "ReqTime:0 sec" ~~~

Hey erster Beitrag, ich buhle direkt nach hilfe. Denke hier bin ich richtig. Lese seit Jahren immer mal wieder als Referenz den Wiki. Kenne das ganze seit meiner Ausbildung 2016 das Projekt , erstmal super Ding hat mir sehr weitergeholfen. Wie kann ich über die .htaccess korrekt gegen Bots mich absichern. Die Datei ist für einen JTL-Shop den ich mit verwalte. Also eigentlich meine Arbeit. Eigentlich dachte ich verstehe es, doch nach Internet Recherche, ChatGPT befragen bin ich ratlos. Habe meinen Access Log heute früh erneut geprüft nur um festzustellen das weiterhin Anfragen durchgewunken werden. Vielleicht herrscht von meiner Seite aus auch ein Verständnis Fehler was diese Meldungen im Log sind. Nur bräuchte ich eine Erklärung. Es gibt hierfür natürlich mehrere Plugins, [LilFOOT SpamProtector Lite](https://www.jtl-software.de/extension-store/lilfoot-spamprotector-lite-jtl-shop-5), [BotBlock PHP 8.2](https://www.jtl-software.de/extension-store/botblock-php-82-jtl-shop-5) [Leitfäden von Hosting-Anbietern](https://www.estugo.de/howsting/bad-bots-und-spam-crawler-was-sind-sie-und-wie-kannst-du-sie-blockieren/), nur kann und möchte ich nicht unbedingt dafür jetzt direkt einen Drittentwickler ins Boot holen. Der mit dem Plugin noch die Ladezeit im Frontend auf dem Shop verschlechtert. Gründe finden hierzu sind vielfältig. Wie auch einfach. Die Blacklist der Bots in die robots.txt hereinzuschreiben wirkt ein wenig primitiv auf mich. Da es auch kein anderer der genannten Entwickler scheinbar so macht. **Zum Problem:** Ich habe trotz der Regel noch im access log viele Anfragen von KI Scrappern wie GPTbot, Claudebot. Obwohl ich explizit bestimmte User Agents blockiere. Diese denke ich zerren an der Performance von der Seite, Webserver. Verzerren natürlich jegliche Statistik. Gut ich nutze Browserfingerprinting. Doch die Anzahl an echten Anfragen, würde mich schon interessieren. Wenn ich das richtig gesehen haben von im Webalizer sind wir bei ca. ~800.000 Seiten. Ich habe mich ein wenig belesen und mitbekommen, wenn eine Webseite über einen CDN Anbieter wie Cloudflare gehostet wird besteht die Möglichkeit von Region, Bot Blockierung. Das wäre eine mögliche Lösung. Alternativ lässt sich diese Regeln performanter über SetEnvIf definieren. Nur diese Lösung(en) habe ich noch nicht probiert. Root-Access/SSH-Zugang zum Webserver habe ich an sich nicht, würde mich da auch erstmal nicht ran trauen. Provider für den Webserver ist All-Inkl. Habe einen Kontakt zu denjenigen der wohl als Mittelsmann für uns die Web Server Verwaltung übernimmt. Wir selben haben also direkt keinen Vertrag mit All-Inkl. Habe 2 Screenshots angehängt. Da ich leider nicht die komplette .htaccess hochladen kann. Aus beachtet gerne die zweite mod_rewrite.c in welcher die Bedingungen festgelegt sind. Ich nutze zum anderen hier die vorgeschriebenen Bedingungen von [Apache Ulimate Bad Bot Blocker](https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker). Freue mich und bedanke mich vor ab schon mal für die Aufmerksamkeit und jegliche Hilfestellung. Denke mal der Schwarm wird schon gute Ideen, Vorschläge haben. [](/images/871fe260-316b-11f0-8c93-9c6b00263d9f.png) [](/images/90a1a4f4-316b-11f0-b89d-9c6b00263d9f.png) Access Log (eingekürzt aus Datenschutz Gründen) ~~~ 20.171.207.3 - - [13/May/2025:23:59:55 +0200] "GET /120_52__45_5__90_4__50_9__75_66?af=20 HTTP/2.0" 200 48332 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)" "Traffic IN:193 OUT:48803" "ReqTime:0 sec" 40.77.167.255 - - [13/May/2025:23:59:57 +0200] "GET /120_6::marken/vormann__45_5__80_8__120_6__45_84__30_7__gerollt-breit HTTP/2.0" 200 48251 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36" "Traffic IN:299 OUT:48714" "ReqTime:0 sec" 3.145.115.135 - - [13/May/2025:23:59:58 +0200] "GET /T-5__WIHA_1__2-Komponentengriff__T-25__T-30__T-8 HTTP/2.0" 200 48943 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)" "Traffic IN:201 OUT:49265" "ReqTime:0 sec" ~~~

Hey erster Beitrag, ich buhle direkt nach hilfe. Denke hier bin ich richtig. Lese seit Jahren immer mal wieder als Referenz den Wiki. Kenne das ganze seit 2016 das Projekt , erstmal super Ding hat mir sehr weitergeholfen. Wie kann ich über die .htaccess korrekt gegen Bots mich absichern. Die Datei ist für einen JTL-Shop den ich mit verwalte. Also eigentlich meine Arbeit. Eigentlich dachte ich verstehe es, doch nach Internet Recherche, ChatGPT befragen bin ich ratlos. Habe meinen Access Log heute früh erneut geprüft nur um festzustellen das weiterhin Anfragen durchgewunken werden. Vielleicht herrscht von meiner Seite aus auch ein Verständnis Fehler was diese Meldungen im Log sind. Nur bräuchte ich eine Erklärung. Es gibt hierfür natürlich mehrere Plugins, [LilFOOT SpamProtector Lite](https://www.jtl-software.de/extension-store/lilfoot-spamprotector-lite-jtl-shop-5), [BotBlock PHP 8.2](https://www.jtl-software.de/extension-store/botblock-php-82-jtl-shop-5) [Leitfäden von Hosting-Anbietern](https://www.estugo.de/howsting/bad-bots-und-spam-crawler-was-sind-sie-und-wie-kannst-du-sie-blockieren/), nur kann und möchte ich nicht unbedingt dafür jetzt direkt einen Drittentwickler ins Boot holen. Der mit dem Plugin noch die Ladezeit im Frontend auf dem Shop verschlechtert. Gründe finden hierzu sind vielfältig. Wie auch einfach. Die Blacklist der Bots in die robots.txt hereinzuschreiben wirkt ein wenig primitiv auf mich. Da es auch kein anderer der genannten Entwickler scheinbar so macht. **Zum Problem:** Ich habe trotz der Regel noch im access log viele Anfragen von KI Scrappern wie GPTbot, Claudebot. Obwohl ich explizit bestimmte User Agents blockiere. Diese denke ich zerren an der Performance von der Seite, Webserver. Verzerren natürlich jegliche Statistik. Gut ich nutze Browserfingerprinting. Doch die Anzahl an echten Anfragen, würde mich schon interessieren. Wenn ich das richtig gesehen haben von im Webalizer sind wir bei ca. ~800.000 Seiten. Ich habe mich ein wenig belesen und mitbekommen, wenn eine Webseite über einen CDN Anbieter wie Cloudflare gehostet wird besteht die Möglichkeit von Region, Bot Blockierung. Das wäre eine mögliche Lösung. Alternativ lässt sich diese Regeln performanter über SetEnvIf definieren. Nur diese Lösung(en) habe ich noch nicht probiert. Root-Access/SSH-Zugang zum Webserver habe ich an sich nicht, würde mich da auch erstmal nicht ran trauen. Provider für den Webserver ist All-Inkl. Habe einen Kontakt zu denjenigen der wohl als Mittelsmann für uns die Web Server Verwaltung übernimmt. Wir selben haben also direkt keinen Vertrag mit All-Inkl. Habe 2 Screenshots angehängt. Da ich leider nicht die komplette .htaccess hochladen kann. Aus beachtet gerne die zweite mod_rewrite.c in welcher die Bedingungen festgelegt sind. Ich nutze zum anderen hier die vorgeschriebenen Bedingungen von [Apache Ulimate Bad Bot Blocker](https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker). Freue mich und bedanke mich vor ab schon mal für die Aufmerksamkeit und jegliche Hilfestellung. Denke mal der Schwarm wird schon gute Ideen, Vorschläge haben. [](/images/871fe260-316b-11f0-8c93-9c6b00263d9f.png) [](/images/90a1a4f4-316b-11f0-b89d-9c6b00263d9f.png) Access Log (eingekürzt aus Datenschutz Gründen) ~~~ 20.171.207.3 - - [13/May/2025:23:59:55 +0200] "GET /120_52__45_5__90_4__50_9__75_66?af=20 HTTP/2.0" 200 48332 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)" "Traffic IN:193 OUT:48803" "ReqTime:0 sec" 40.77.167.255 - - [13/May/2025:23:59:57 +0200] "GET /120_6::marken/vormann__45_5__80_8__120_6__45_84__30_7__gerollt-breit HTTP/2.0" 200 48251 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36" "Traffic IN:299 OUT:48714" "ReqTime:0 sec" 3.145.115.135 - - [13/May/2025:23:59:58 +0200] "GET /T-5__WIHA_1__2-Komponentengriff__T-25__T-30__T-8 HTTP/2.0" 200 48943 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)" "Traffic IN:201 OUT:49265" "ReqTime:0 sec" ~~~

Hey erster Beitrag, ich buhle direkt nach hilfe. Denke hier bin ich richtig. Wie kann ich über die .htaccess korrekt gegen Bots mich absichern. Die Datei ist für einen JTL-Shop den ich mit verwalte. Also eigentlich meine Arbeit. Eigentlich dachte ich verstehe es, doch nach Internet Recherche, ChatGPT befragen bin ich ratlos. Habe meinen Access Log heute früh erneut geprüft nur um festzustellen das weiterhin Anfragen durchgewunken werden. Vielleicht herrscht von meiner Seite aus auch ein Verständnis Fehler was diese Meldungen im Log sind. Nur bräuchte ich eine Erklärung. Es gibt hierfür natürlich mehrere Plugins, [LilFOOT SpamProtector Lite](https://www.jtl-software.de/extension-store/lilfoot-spamprotector-lite-jtl-shop-5), [BotBlock PHP 8.2](https://www.jtl-software.de/extension-store/botblock-php-82-jtl-shop-5) [Leitfäden von Hosting-Anbietern](https://www.estugo.de/howsting/bad-bots-und-spam-crawler-was-sind-sie-und-wie-kannst-du-sie-blockieren/), nur kann und möchte ich nicht unbedingt dafür jetzt direkt einen Drittentwickler ins Boot holen. Der mit dem Plugin noch die Ladezeit im Frontend auf dem Shop verschlechtert. Gründe finden hierzu sind vielfältig. Wie auch einfach. Die Blacklist der Bots in die robots.txt hereinzuschreiben wirkt ein wenig primitiv auf mich. Da es auch kein anderer der genannten Entwickler scheinbar so macht. **Zum Problem:** Ich habe trotz der Regel noch im access log viele Anfragen von KI Scrappern wie GPTbot, Claudebot. Obwohl ich explizit bestimmte User Agents blockiere. Diese denke ich zerren an der Performance von der Seite, Webserver. Verzerren natürlich jegliche Statistik. Gut ich nutze Browserfingerprinting. Doch die Anzahl an echten Anfragen, würde mich schon interessieren. Wenn ich das richtig gesehen haben von im Webalizer sind wir bei ca. ~800.000 Seiten. Ich habe mich ein wenig belesen und mitbekommen, wenn eine Webseite über einen CDN Anbieter wie Cloudflare gehostet wird besteht die Möglichkeit von Region, Bot Blockierung. Das wäre eine mögliche Lösung. Alternativ lässt sich diese Regeln performanter über SetEnvIf definieren. Nur diese Lösung(en) habe ich noch nicht probiert. Root-Access/SSH-Zugang zum Webserver habe ich an sich nicht, würde mich da auch erstmal nicht ran trauen. Provider für den Webserver ist All-Inkl. Habe einen Kontakt zu denjenigen der wohl als Mittelsmann für uns die Web Server Verwaltung übernimmt. Wir selben haben also direkt keinen Vertrag mit All-Inkl. Habe 2 Screenshots angehängt. Da ich leider nicht die komplette .htaccess hochladen kann. Aus beachtet gerne die zweite mod_rewrite.c in welcher die Bedingungen festgelegt sind. Ich nutze zum anderen hier die vorgeschriebenen Bedingungen von [Apache Ulimate Bad Bot Blocker](https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker). Freue mich und bedanke mich vor ab schon mal für die Aufmerksamkeit und jegliche Hilfestellung. Denke mal der Schwarm wird schon gute Ideen, Vorschläge haben. [](/images/871fe260-316b-11f0-8c93-9c6b00263d9f.png) [](/images/90a1a4f4-316b-11f0-b89d-9c6b00263d9f.png) Access Log (eingekürzt aus Datenschutz Gründen) ~~~ 20.171.207.3 - - [13/May/2025:23:59:55 +0200] "GET /120_52__45_5__90_4__50_9__75_66?af=20 HTTP/2.0" 200 48332 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)" "Traffic IN:193 OUT:48803" "ReqTime:0 sec" 40.77.167.255 - - [13/May/2025:23:59:57 +0200] "GET /120_6::marken/vormann__45_5__80_8__120_6__45_84__30_7__gerollt-breit HTTP/2.0" 200 48251 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36" "Traffic IN:299 OUT:48714" "ReqTime:0 sec" 3.145.115.135 - - [13/May/2025:23:59:58 +0200] "GET /T-5__WIHA_1__2-Komponentengriff__T-25__T-30__T-8 HTTP/2.0" 200 48943 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)" "Traffic IN:201 OUT:49265" "ReqTime:0 sec" ~~~

Hey erster Beitrag, ich buhle direkt nach hilfe. Denke hier bin ich richtig. Wie kann ich über die .htaccess korrekt gegen Bots mich absichern. Die Datei ist für einen JTL-Shop den ich mit verwalte. Also eigentlich meine Arbeit. Eigentlich dachte ich verstehe es, doch nach Internet Recherche, ChatGPT befragen bin ich ratlos. Habe meinen Access Log heute früh erneut geprüft nur um festzustellen das weiterhin Anfragen durchgewunken werden. Vielleicht herrscht von meiner Seite aus auch ein Verständnis Fehler was diese Meldungen im Log sind. Nur bräuchte ich eine Erklärung. Es gibt hierfür natürlich mehrere Plugins, [LilFOOT SpamProtector Lite](https://www.jtl-software.de/extension-store/lilfoot-spamprotector-lite-jtl-shop-5), [BotBlock PHP 8.2](https://www.jtl-software.de/extension-store/botblock-php-82-jtl-shop-5) [Leitfäden von Hosting-Anbietern](https://www.estugo.de/howsting/bad-bots-und-spam-crawler-was-sind-sie-und-wie-kannst-du-sie-blockieren/), nur kann und möchte ich nicht unbedingt dafür jetzt direkt einen Drittentwickler ins Boot holen. Der mit dem Plugin noch die Ladezeit im Frontend auf dem Shop verschlechtert. Gründe finden hierzu sind vielfältig. Wie auch einfach. Die Blacklist der Bots in die robots.txt hereinzuschreiben wirkt ein wenig primitiv auf mich. Da es auch kein anderer der genannten Entwickler scheinbar so macht. **Zum Problem:** Ich habe trotz der Regel noch im access log viele Anfragen von KI Scrappern wie GPTbot, Claudebot. Obwohl ich explizit bestimmte User Agents blockiere. Diese denke ich zerren an der Performance von der Seite, Webserver. Wenn ich das richtig gesehen haben von im Webalizer sind wir bei ca. ~800.000 Seiten. Ich habe mich ein wenig belesen und mitbekommen, wenn eine Webseite über einen CDN Anbieter wie Cloudflare gehostet wird besteht die Möglichkeit von Region, Bot Blockierung. Das wäre eine mögliche Lösung. Alternativ lässt sich diese Regeln performanter über SetEnvIf definieren. Nur diese Lösung(en) habe ich noch nicht probiert. Root-Access/SSH-Zugang zum Webserver habe ich an sich nicht, würde mich da auch erstmal nicht ran trauen. Provider für den Webserver ist All-Inkl. Habe einen Kontakt zu denjenigen der wohl als Mittelsmann für uns die Web Server Verwaltung übernimmt. Wir selben haben also direkt keinen Vertrag mit All-Inkl. Habe 2 Screenshots angehängt. Da ich leider nicht die komplette .htaccess hochladen kann. Aus beachtet gerne die zweite mod_rewrite.c in welcher die Bedingungen festgelegt sind. Ich nutze zum anderen hier die vorgeschriebenen Bedingungen von [Apache Ulimate Bad Bot Blocker](https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker). Freue mich und bedanke mich vor ab schon mal für die Aufmerksamkeit und jegliche Hilfestellung. Denke mal der Schwarm wird schon gute Ideen, Vorschläge haben. [](/images/871fe260-316b-11f0-8c93-9c6b00263d9f.png) [](/images/90a1a4f4-316b-11f0-b89d-9c6b00263d9f.png) Access Log (eingekürzt aus Datenschutz Gründen) ~~~ 20.171.207.3 - - [13/May/2025:23:59:55 +0200] "GET /120_52__45_5__90_4__50_9__75_66?af=20 HTTP/2.0" 200 48332 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)" "Traffic IN:193 OUT:48803" "ReqTime:0 sec" 40.77.167.255 - - [13/May/2025:23:59:57 +0200] "GET /120_6::marken/vormann__45_5__80_8__120_6__45_84__30_7__gerollt-breit HTTP/2.0" 200 48251 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36" "Traffic IN:299 OUT:48714" "ReqTime:0 sec" 3.145.115.135 - - [13/May/2025:23:59:58 +0200] "GET /T-5__WIHA_1__2-Komponentengriff__T-25__T-30__T-8 HTTP/2.0" 200 48943 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)" "Traffic IN:201 OUT:49265" "ReqTime:0 sec" ~~~

Hey erster Beitrag, ich buhle direkt nach hilfe. Denke hier bin ich richtig. Wie kann ich über die .htaccess korrekt gegen Bots mich absichern. Die Datei ist für einen JTL-Shop den ich mit verwalte. Also eigentlich meine Arbeit. Eigentlich dachte ich verstehe es, doch nach Internet Recherche, ChatGPT befragen bin ich ratlos. Habe meinen Access Log heute früh erneut geprüft nur um festzustellen das weiterhin Anfragen durchgewunken werden. Vielleicht herrscht von meiner Seite aus auch ein Verständnis Fehler was dieser Log ist. Nur bräuchte ich eine Erklärung. Es gibt hierfür natürlich mehrere Plugins, [LilFOOT SpamProtector Lite](https://www.jtl-software.de/extension-store/lilfoot-spamprotector-lite-jtl-shop-5), [BotBlock PHP 8.2](https://www.jtl-software.de/extension-store/botblock-php-82-jtl-shop-5) [Leitfäden von Hosting-Anbietern](https://www.estugo.de/howsting/bad-bots-und-spam-crawler-was-sind-sie-und-wie-kannst-du-sie-blockieren/), nur kann und möchte ich nicht unbedingt dafür jetzt direkt einen Drittentwickler ins Boot holen. Der mit dem Plugin noch die Ladezeit im Frontend auf dem Shop verschlechtert. Gründe finden hierzu sind vielfältig. Wie auch einfach. Die Blacklist der Bots in die robots.txt hereinzuschreiben wirkt ein wenig primitiv auf mich. Da es auch kein anderer der genannten Entwickler scheinbar so macht. **Zum Problem:** Ich habe trotz der Regel noch im access log viele Anfragen von KI Scrappern wie GPTbot, Claudebot. Obwohl ich explizit bestimmte User Agents blockiere. Diese denke ich zerren an der Performance von der Seite, Webserver. Wenn ich das richtig gesehen haben von im Webalizer sind wir bei ca. ~800.000 Seiten. Ich habe mich ein wenig belesen und mitbekommen, wenn eine Webseite über einen CDN Anbieter wie Cloudflare gehostet wird besteht die Möglichkeit von Region, Bot Blockierung. Das wäre eine mögliche Lösung. Alternativ lässt sich diese Regeln performanter über SetEnvIf definieren. Nur diese Lösung(en) habe ich noch nicht probiert. Root-Access/SSH-Zugang zum Webserver habe ich an sich nicht, würde mich da auch erstmal nicht ran trauen. Provider für den Webserver ist All-Inkl. Habe einen Kontakt zu denjenigen der wohl als Mittelsmann für uns die Web Server Verwaltung übernimmt. Wir selben haben also direkt keinen Vertrag mit All-Inkl. Habe 2 Screenshots angehängt. Da ich leider nicht die komplette .htaccess hochladen kann. Aus beachtet gerne die zweite mod_rewrite.c in welcher die Bedingungen festgelegt sind. Ich nutze zum anderen hier die vorgeschriebenen Bedingungen von [Apache Ulimate Bad Bot Blocker](https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker). Freue mich und bedanke mich vor ab schon mal für die Aufmerksamkeit und jegliche Hilfestellung. Denke mal der Schwarm wird schon gute Ideen, Vorschläge haben. [](/images/871fe260-316b-11f0-8c93-9c6b00263d9f.png) [](/images/90a1a4f4-316b-11f0-b89d-9c6b00263d9f.png) Access Log (eingekürzt aus Datenschutz Gründen) ~~~ 20.171.207.3 - - [13/May/2025:23:59:55 +0200] "GET /120_52__45_5__90_4__50_9__75_66?af=20 HTTP/2.0" 200 48332 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)" "Traffic IN:193 OUT:48803" "ReqTime:0 sec" 40.77.167.255 - - [13/May/2025:23:59:57 +0200] "GET /120_6::marken/vormann__45_5__80_8__120_6__45_84__30_7__gerollt-breit HTTP/2.0" 200 48251 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36" "Traffic IN:299 OUT:48714" "ReqTime:0 sec" 3.145.115.135 - - [13/May/2025:23:59:58 +0200] "GET /T-5__WIHA_1__2-Komponentengriff__T-25__T-30__T-8 HTTP/2.0" 200 48943 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)" "Traffic IN:201 OUT:49265" "ReqTime:0 sec" ~~~

Hey erster Beitrag, ich buhle direkt nach hilfe. Denke hier bin ich richtig. Wie kann ich über die .htaccess korrekt gegen Bots mich absichern. Die Datei ist für einen JTL-Shop den ich mit verwalte. Also eigentlich meine Arbeit. Eigentlich dachte ich verstehe es, doch nach Internet Recherche, ChatGPT befragen bin ich ratlos. Habe meinen Access Log heute früh erneut geprüft nur um festzustellen das weiterhin Anfragen durchgewunken werden. Vielleicht herrscht von meiner Seite aus auch ein Verständnis Fehler was dieser Log ist. Nur bräuchte ich eine Erklärung. Es gibt hierfür natürlich mehrere Plugins, [LilFOOT SpamProtector Lite](https://www.jtl-software.de/extension-store/lilfoot-spamprotector-lite-jtl-shop-5), [BotBlock PHP 8.2](https://www.jtl-software.de/extension-store/botblock-php-82-jtl-shop-5) [Leitfäden von Hosting-Anbietern](https://www.estugo.de/howsting/bad-bots-und-spam-crawler-was-sind-sie-und-wie-kannst-du-sie-blockieren/), nur kann und möchte ich nicht unbedingt dafür jetzt direkt einen Drittentwickler ins Boot holen. Der mit dem Plugin noch die Ladezeit im Frontend auf dem Shop verschlechtert. Gründe finden hierzu sind vielfältig. Wie auch einfach. Die Blacklist der Bots in die robots.txt hereinzuschreiben wirkt ein wenig primitiv auf mich. Da es auch kein anderer der genannten Entwickler scheinbar so macht. **Zum Problem:** Ich trotzdem noch im access log viele Anfragen von KI Scrappern wie GPTbot, Claudebot. Obwohl ich explizit bestimmte User Agents blockiere. Diese denke ich zerren an der Performance von der Seite, Webserver. Wenn ich das richtig gesehen haben von im Webalizer sind wir bei ca. ~800.000 Seiten. Ich habe mich ein wenig belesen und mitbekommen, wenn eine Webseite über einen CDN Anbieter wie Cloudflare gehostet wird besteht die Möglichkeit von Region, Bot Blockierung. Das wäre eine mögliche Lösung. Alternativ lässt sich diese Regeln performanter über SetEnvIf definieren. Nur diese Lösung(en) habe ich noch nicht probiert. Root-Access/SSH-Zugang zum Webserver habe ich an sich nicht, würde mich da auch erstmal nicht ran trauen. Provider für den Webserver ist All-Inkl. Habe einen Kontakt zu denjenigen der wohl als Mittelsmann für uns die Web Server Verwaltung übernimmt. Wir selben haben also direkt keinen Vertrag mit All-Inkl. So sieht die komplette .htaccess aus beachtet gerne die zweite mod_rewrite.c in welcher die Bedingungen festgelegt sind. Ich nutze zum anderen hier die vorgeschriebenen Bedingungen von [Apache Ulimate Bad Bot Blocker](https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker). Freue mich und bedanke mich vor ab schon mal für die Aufmerksamkeit und jegliche Hilfestellung. Denke mal der Schwarm wird schon gute Ideen, Vorschläge haben. [](/images/871fe260-316b-11f0-8c93-9c6b00263d9f.png) [](/images/90a1a4f4-316b-11f0-b89d-9c6b00263d9f.png) Access Log (eingekürzt aus Datenschutz Gründen) ~~~ 20.171.207.3 - - [13/May/2025:23:59:55 +0200] "GET /120_52__45_5__90_4__50_9__75_66?af=20 HTTP/2.0" 200 48332 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)" "Traffic IN:193 OUT:48803" "ReqTime:0 sec" 40.77.167.255 - - [13/May/2025:23:59:57 +0200] "GET /120_6::marken/vormann__45_5__80_8__120_6__45_84__30_7__gerollt-breit HTTP/2.0" 200 48251 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36" "Traffic IN:299 OUT:48714" "ReqTime:0 sec" 3.145.115.135 - - [13/May/2025:23:59:58 +0200] "GET /T-5__WIHA_1__2-Komponentengriff__T-25__T-30__T-8 HTTP/2.0" 200 48943 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)" "Traffic IN:201 OUT:49265" "ReqTime:0 sec" ~~~