Sönke Tesch: Position der robots.txt

Beitrag lesen

das Wurzelverzeichnis ist das erste, auf das ein User (als etwas anderes taucht ein Robot nicht auf) zugreifen kann. In diesem Fall also das /htdocs

Oder ganz einfach: robots.txt muß unter der Adresse http://deine.doma.in/robots.txt zu finden sein, nirgendwo sonst.

Gruß,
  soenk.e