User Agent von Robotern/Spidern

[Armin]

Tach auch,

und das mit den IPs glaub ich wäre zuviel, ich will ja nichts verstecken sondern nur die roboter in einer eigenen tabelle haben, die werden schon nicht jede seite mit völlig fremden user-agents besuchen - oder?

Irgendwo habe ich neulich gelesen dass die sich teilweise auch eines ganz normalen user agents bedienen, um die SEOs zu finden die fuer robots optimierte Seite ausgeben sowie sie einen identifizieren. Da kommt dann der Googlebot halt nicht als Googlebot sondern mit Mozilla XYZ (weiss nicht mehr welche er haben sollte).

Keine Ahnung ob das gegen irgendeine RFC verstoesst, solange sie die robots.txt beachten habe ich kein Problem damit.