rob: Robots erkennen

Beitrag lesen

Moin!

Aber es muss doch irgendwie möglich sein, da man ja auch Browser erkennen kann, oder?

Nein, man kann auch keine Browser erkennen.

Du kannst natürlich den UserAgent-String auslesen, der in den HTTP-Headern übermittelt wird, aber Du kannst dich nicht drauf verlassen, daß dieser auch korrekt ist. Das kann man nämlich recht problemlos manipulieren.
Aber wenn Du unbedingt willst, dann ist es natürlich machbar... Vermutlich werden auch die meisten Angaben stimmen. Ich schätze z.B. das sich der Googlebot immer auch brav als dieser zu erkennen gibt. Aber Du kannst dich halt nie 100% darauf verlassen.
Könnte auch sein, daß ich gerade mal deine Site besuche. Mein Browser sendet auch öfter mal Googlebot als Erkennung. Ist teilweise schon ganz witzig, was man da so alles für "optmierte" Versionen einer Site findet ;o)

Im Übrigen solltest Du darauf verzichten, irgendwelchen Bots andere Seiten vorzuwerfen als Browsern.
Das kann ganz schnell dazu führen, daß dich keine Suchmaschine mehr listet.

Gruß, rob