Moin, moin!
Zur Position der robots.txt habe ich in SelfHTML die folgende Aussage gefunden:
"Die robots.txt muss ... im Wurzelverzeichnis der Web-Dateien der Domain abgelegt werden. Wenn Sie also einen Domain-Namen mein-name.de haben, dann muss die robots.txt in dem Verzeichnis abgelegt werden, in dem auch die oberste Einstiegsdatei von www.mein-name.de liegt. Der URI wäre also http://www.mein-name.de/robots.txt."
Mein Problem:
Wenn ich mit einem FTP-Programm Dateien in meine Domain einbringe, finde ich die Verzeichnisse htdocs und cgi-bin. Die index.html als Einstiegsdatei befindet sich im Verzeichnis htdocs. Das Wurzelverzeichnis ist für mein Verständnis das für mich "erste", auf das ich zugreifen kann. Also das, von dem ich zu htdocs und cgi-bin wechseln kann. Und damit ist es nicht dasjenige, in dem sich die Einstiegsdatei befindet.
In welches der beiden in Frage kommenden Verzeichnisse gehört die robots.txt in einem solchen Fall?
Mit freundlichem Gruß,
Norbert Kölln