nicht angemeldet
so kann ich das überprüfen mysql überlassen (ist ja schneller als php)
nein - und wie bitteschön sollte eine Datenbank selbständig etwas überprüfen können?
Ein paar Vergleiche relevanter Zeichenketten sind allemale schneller als die Abfrage einer umfangreichen Datenbank.
naja mit WHERE einfach den ganzen user-agent überprüfen, und so umfangreich wäre die db ja gar nicht, lediglich 20/30 Zeilen
btw, wärst du vllt. so nett eine liste zu posten worauf ich die user-agents überprüfen sollte?
Nur mal die häufigsten:
Googlebot/...
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot-Image/...
Mediapartners-Google/...
FAST-WebCrawler/...
msnbot/...
ia_archiver...
psbot/...
Xenu Link Sleuth...
Xenu's Link Sleuth...
Scooter...
AltaVista...
AV Fetch/...
...Mercator...
....av.com...
...Slurp...
...inktomi...
Mozilla/4.0 (compatible; grub-client-...
...http://grub.org...
...looksmart.net...
Seekbot/...
...Mozilla/3.01 (compatible;)
thx für die liste
hmm... ich glaub da könnte man einiges zusammenfassen, und zwar zunächst mal nach "bot" suchen danach die einzelnen bots der dienste selbst auch nochmal zb. "google", "yahoo", "msn" und dann der rest
oder gibt es einen grund wieso ich die einzeln überprüfen sollte?
und das mit den IPs glaub ich wäre zuviel, ich will ja nichts verstecken sondern nur die roboter in einer eigenen tabelle haben, die werden schon nicht jede seite mit völlig fremden user-agents besuchen - oder?
Zumindest Google kommt sehr gern mal inkognito als Mozilla. ;-)
jaja, google nimmts gleich persönlich wenn man den bots "leicht verständliches und semantisch korrektes html" liefert *g*