Hallo Gerhard,
wie kann ich 100%-ig erkennen ob ein Robot, Spider od. Crawler auf meiner Seite ist?
Du kannst, sofern vorhanden, die Client-Identifikation auswerten.
Alles was du hier http://www.robotstxt.org/wc/active.html findest ist mit an Sicherheit grenzender Wahrscheinlichkeit ein Robot. Und 100%ig gibts eh nirgends.
Grüße,
Jochen