Ingo Turski: Wie arbeiten Bots eigentlich ?

Beitrag lesen

Hi,

Macht der use cgi -> get oder wie arbeitet der (die Bots) eigentlich ?

die fordern ganz normal über HTTP die verlinkten oder gespeicherten Resourcen an. Speziell der Inktomi-Bot hat ein viel zu langes Gedächtnis.

Und wer ist der Mozilla/5.0 (compatible; Yahoo! Slurp; ... überhaupt ?
Der macht mehr Traffic als alle anderen Besucher zusammen !!!

Ja, der kommt recht häufig. Meist als:
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
in letzter Zeit auch aus China:
Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)

Das kann doch nicht nur einer sein, oder ?

Inktomi hat natürlich etliche Bots im Einsatz.

Ist das 'ne Trittbrettfahrer-Kennung, oder was passiert da ?

Nein, Unter diesen Kennungen kommt wirklich meist nur der Yahoo-Bot, wie Du an den IPs feststellen kannst.

freundliche Grüße
Ingo