Wie arbeiten Bots eigentlich ?

[Frank]

Hallo Eternius,

den wichtigen Teil hast du unterschlagen: http://help.yahoo.com/help/de/ysearch/slurp.

Sorry, den wollte ich nicht unterschlagen.
Aber da steht auch ganz klar was von CACHE !

Und wenn der die Seiten in seinen Cache legt,
dann verstehe ich nicht, warum der jeden Tag ca. 2.000 mal angeeiert kommt.

Google und alle anderen machen das zwar auch mal,
aber nur in längeren Intervallen und nicht JEDEN Tag.

Deswegen bleibt meine Frage nach der Trittbrettfahrer-Kennung.
Slurp hat bei mir zwar meist 'ne 72.30.* oder 74.6.* IP, aber das muss ja auch nix heissen.

Sind Euch SpamBots bekannt, die sich auch als Slurp ausgeben ?
Und falls Ja: Wie kann man die knacken ?
Wahrscheinlich gar nicht, oder ?

Grüsse, Frank