nicht angemeldet
Das
disallow: *
findet sich unter "Erweiterungen des ursprünglichen Protokolls". Also halten sich die Robots, welche dem Protokoll wohl, aber der Erweiterung nicht folgen, an die altere und einfachere Regel und "verbieten" den Zugriff auf alles, was mit dem Zeichen '*' beginnt.
(U.a.) Die Robots von Google, Microsoft und Yahoo indes interpretieren die Einträge in der /robots.txt nach dem "erweitertem Protokoll" und interpretieren den * als Pattern für "ein, kein oder beliebig viele beliebige Zeichen". Also steht der Asterix dann für "Alles".
Auch die Aussage, dass das robots-Protokoll nur eine Empfehlung ist, findet sich im Artikel.