Frage zum Wiki-Artikel „Robots.txt“
bearbeitet von ursus contionabundoDas
~~~
disallow: *
~~~
findet sich unter "Erweiterungen des ursprünglichen Protokolls". Also halten sich die Robots, dem Protokoll aber der Erweiterung nicht folgen, an die Regel und verbieten alles, was mit dem Zeichen '*' beginnt.
(U.a.) Die Robots von Google, Microsoft und Yahoo indes interpretieren die Einträge in der /robots.txt nach dem "erweitertem Protokoll" und interpretieren den * als Pattern für "ein, kein oder beliebig viele beliebige Zeichen". Also steht der Asterix dann für "Alles".
Auch die Aussage, dass das robots-Protokoll nur eine Empfehlung ist, findet sich im Artikel.
Frage zum Wiki-Artikel „Robots.txt“
bearbeitet von ursus contionabundoDas
~~~
disallow: *
~~~
findet sich unter "Erweiterungen des ursprünglichen Protokolls". Also halten sich die Robots, die der Erweiterung nicht folgen, en an die Regel und verbieten alles, was mit dem Zeichen '*' beginnt.
(U.a.) Die Robots von Google, Microsoft und Yahoo interpretieren die Einträge in der /robots.txt nach dem "erweitertem Protokoll" und interpretieren den * als Pattern für "ein, kein oder beliebig viele beliebige Zeichen". Also steht der Asterix dann für "Alles".
Auch die Aussage, dass das robots-Protokoll nur eine Empfehlung ist, findet sich im Artikel.