robot.txt

[Stefan Einspender]

Kann mir einer sagen was im robot.txt drin stehn muss, oder wie der überhaupt aussieht.
oder wo es ein tutorial drüber gibt.
oder sonstige infos.

Sollte alle Deine Fragen beantworten: http://www.robotstxt.org/