eingeschränkter Zugriff für Robots

[Linuchs]

Moin,

seit einiger Zeit lasse ich mir per Mail melden, wenn Programme länger als 3 sec laufen. Pro Tag waren das um die 20 Mails. Programme, die normalerweise 0,2 sec brauchten, liefen durchaus 30 sec.

Und immer enthielt der HTTP_USER_AGENT die drei Buchstaben bot, viele Meldungen erfolgten in derselben Minute.

Nun speichere ich den letzten Zugriff der Bots und prüfe, ob 3 sec seit dem letzten Besuch verstrichen sind. Wenn nein, wird der Besuch abgelehnt mit der Meldung

Zugriff zu schnell

Erfolg: In der letzten Nacht seit 23:00 kamen nur noch zwei Meldungen mit Durchlauf von etwas mehr als 3 sec. Von ahrefs.com und webmeup-crawler.com

Ich habe noch nirgendwo gelesen, dass sich jemand gegen den Beschuss von Bots wehrt. Bin ich da allein?

Seit gestern 15:30 bis jetzt sind 17 Std. vergangen. Es gab 23.118 Zugriffe, davon 6.733 abgelehnt.

Als "problematische Seite" die Zugriffsstatistik mit Nennung der Bots.

Gerne würde ich eure Meinung dazu lesen und Verbesserungen zur Bot-Kontrolle.

Gruß, Linuchs