Robert Bienert: Was soll die Abfrage nach /SlurpConfirm/…?

Beitrag lesen

Moin!

Seit gestern morgen nervt ein Useragent, der sich als „Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)“ ausgibt, meine Seite mit Anfragen nach nicht existierenden URLs, die mit /SlurpConfirm404/ beginnen bzw. einmal direkt /SlurpConfirm404.htm. Die Anfragen kommen von der IP 66.196.65.59, was traceroute im Yahoo-Netz lokalisiert. Ich habe per Yahoo-Suche (bietet sich in diesem Falle wohl an) eine Seite gefunden, auf der behauptet wird, dass Yahoo damit versucht herauszufinden, wie die Webseiten auf HTTP 404er reagieren. Aber vielleicht gibt es hier ja andere/weitere Erkenntnisse.
Meine Kontaktaufnahme mit Yahoo ist bislang auf Grund einer fehlenden Yahoo-ID, keinem geeigneten Kommentarformular sowie dem Blocken von Cookies fehlgeschlagen.

Falls die obige Aussage stimmen sollte, weshalb sollte es sinnvoll sein, sich die HTTP 404er Antworten von Servern anzuschauen?
Außerdem kann man doch mit Techniken wie mod_rewrite alle Request nach /SlurpConfirm404 auf eine tatsächlich existierende Seite umleiten und damit die „404er-Untersuchung“ sabotieren.

Ratlose Grüße,
Robert