nicht angemeldet
und das mit den IPs glaub ich wäre zuviel, ich will ja nichts verstecken sondern nur die roboter in einer eigenen tabelle haben, die werden schon nicht jede seite mit völlig fremden user-agents besuchen - oder?
Irgendwo habe ich neulich gelesen dass die sich teilweise auch eines ganz normalen user agents bedienen, um die SEOs zu finden die fuer robots optimierte Seite ausgeben sowie sie einen identifizieren. Da kommt dann der Googlebot halt nicht als Googlebot sondern mit Mozilla XYZ (weiss nicht mehr welche er haben sollte).
ja, sollen sie ruhig so lange sie nicht alle seiten in wenigen minuten aufrufen (und so massiv den log verpfuschen) - und das tun sie ja nicht da es ja auffälig wäre,...