Wie arbeiten Bots eigentlich ?

[Frank]

Hi,
läuft zwar unter Menschelei, ist aber durchaus ein ernster Topic ...

Ich hab Gestern für einen Ordner eine RewriteRule erstellt:
Altes Textfile -> jetzt neu -> gleiche Stelle, gleiche Welle in Datenbank.

Jetzt guck ich grad den BotLog durch und merke:
Sch... !!!, der komische Mozilla/5.0 (compatible; Yahoo! Slurp; ...
greif sich immer noch die alten (noch bestehenden) Dateien.

Macht der use cgi -> get oder wie arbeitet der (die Bots) eigentlich ?

Und wer ist der Mozilla/5.0 (compatible; Yahoo! Slurp; ... überhaupt ?
Der macht mehr Traffic als alle anderen Besucher zusammen !!!

Das kann doch nicht nur einer sein, oder ?
Ist das 'ne Trittbrettfahrer-Kennung, oder was passiert da ?

Wünsche Schönes WoEnd,
Grüsse, Frank