Botaufrufe verhindern: Eine Antwort und eine mögliche Lösung

[fietur]

Also, wie ich die Dinge sehe will @fietor die Request einhegen. PL liegt also insoweit schon mal richtig.

Genau. Hier mal eine Auswahl der bisherigen Zahlen der Client Domains vom Januar:

• googlebot.com: 205k
• your-server.de: 150k
• msn.com: 3400
• semrush.com: 1400
• hwclouds-dns.com: 200
• vodafone-ip.de: 180

Wie man sieht, benimmt sich der bingbot (msn.com) nicht so gierig (obwohl er jetzt auch damit beginnt, den Kalender mitsamt Parametern abzufragen - aber nicht so häufig). Die robots.txt ist manchmal durchaus erfolgreich. Ich hatte letztes jahr sehr viele Aufrufe durch den AhrefsBot, seit er ein disallow erhalten hat, taucht er in den logs überhaupt nicht mehr auf. Die Zugriffe durch den SemrushBot sind ausschließlich Abfragen der robots.txt - offiziell hält auch er sich an sein disallow. Die Aufrufe aus dem Vodafone-Netz (wie auch weitere nicht aufgeführte) sind hingegen größtenteils reale Besucher. Von your-server.de hingegen kommen aus 1und1 schon ziemlich unverholen bösärtige Tests (wie Abfragen nach wp-admin/install.php). Ob der in der .htaccess vorgeschobene Riegel greift, wird sich noch zeigen. Bisher sieht es noch nur nach Schrotschuss ins Netz durch einen Bot aus.

Mehr Sorgen bereitet mir das Auftauchen von chinesischen Abfragen wie durch hwclouds-dns.com; diese aus dem Huawei-Funknetz versuchen sich durch unterschiedliche IPs (China, aber auch USA) und koordinierte Abfragen mit "unauffälligen" Abfragen, also nicht en bloc, zu verbergen. Noch sind sie einfach zu erkennen (zh-CN, LieBaoFast), aber es ist nur eine Frage der Zeit, bis sich das ändert.

Das ist aber ein anderes Thema, hier geht es mir tatsächlich um ein für alle Seiten sinnvolles Begrenzen.