Calocybe: robot.txt

Beitrag lesen

Moin!

zugegeben, der Artikel ist unter Projektverwaltung etwas irrefuehrend eingeordnet, sollte deine Fragen aber beantworten: </selfaktuell/artikel/projekt/robots/index.htm>

Besser, weil weniger konfus und vollstaendiger als den Artikel finde ich die Quellen, auf die vom Artikel aus gelinkt ist. Anfangsseite: http://www.robotstxt.org/wc/robots.html.

So long