Wie arbeiten Bots eigentlich ?

[Ingo Turski]

Hi,

Und wenn der die Seiten in seinen Cache legt,
dann verstehe ich nicht, warum der jeden Tag ca. 2.000 mal angeeiert kommt.

Die Seiten erscheinen ihm interessant genug, um zu prüfen, ob sie geändert wurden.
Vielleicht handelt es sich auch um Seiten mit dynamischen Inhalten, die tatsächlich oft wechseln?

Slurp hat bei mir zwar meist 'ne 72.30.* oder 74.6.* IP, aber das muss ja auch nix heissen.

Doch. Das sind die IP-Blöcke INKTOMI-BLK-5 und INKTOMI-BLK-6, also eindeutig Anforderungen von bzw. für Yahoo.

Sind Euch SpamBots bekannt, die sich auch als Slurp ausgeben ?

Aktuell verzeichne ich in meinen Logs keine.
Im September hatte ich 2729 Anfragen mit "Slurp" im UA. Alle kamen von Inktomi. 2542* Slurp, 180* Slurp China und 7* Slurp/si-emb.
Dazu kommen noch einige Inktomi-Zugriffe mit anderen Kennungen - zweimal gab er sich sogar als Googlebot aus; erst eine HEAD-Abfrage, ob die Resource existiert und dann ein normaler GET, den allerdings mit dem Zusatz "(via babelfish.yahoo.com)" in der Kennung.
Apropos Übersetzungen: Zugriffe über http://tools.search.yahoo.com/language/translation/interstitial.php forderten die Seiten mit einer regulären Firefox/1.5.0.7-Kennung an (möglicherweise die des Nutzers).
Und zwar selten, aber regelmäßig tarnt sich der Bot auch als MSIE6.

Und falls Ja: Wie kann man die knacken ?

Du kannst die IPs prüfen und ggfls. einen Fehlercode zurückliefern.

freundliche Grüße
Ingo