nicht angemeldet
HAlten sich eigentlich auch alle Robots an die Vorgaben der robots.txt?
Kurz gesagt: nein.
Du kannst robots.txt zwar für einige Bots ausrichten, aber da der Standard dermassen schlecht ist (und deshalb von inoffiziellen Regeln ergänzt wird), gibt es keine Syntax, die alle Bots erreichen kann.
Weiterhin schlecht ist, dass viele Suchmaschienen ihre Bots sehr schlecht dokumentieren.
Google akzeptiert die Allow Regel und kennt zudem die Wildcards * (Zeichenkette) und $ (Ende)
Andere Bots geben vor diese Google Erweiterungen ebenfalls zu lesen.
mfg Beat