Spider auf Platz3, was soll ich tun?

[Michael Schröpl]

Hi Christian,

SetEnvIf User-Agent ^UserAgent1 is_spider
SetEnvIf User-Agent ^UserAgent2 is_spider
Order Deny,Allow
Deny from env=is_spider
Allow from all

das wird allerdings die Browser-Statistik in keinster Weise verändern. Was sich ändert, das sind lediglich die dabei entstehenden HTTP-Statuscodes (und das ausgelieferter Datenvolumen).

Im Extremfall führt diese Konfiguration dazu, daß das Error-Log mit tausenden von abgewehrten Zugriffen zugemüllt wird - nämlich dann, wenn der Besucher die Stuktur der Site bereits kennt und lediglich die Aktualität der Inhalte überprüfen will.

Viele Grüße
      Michael