Hallo,
in der robots.txt kann ich ja mit:
Disallow: /files/
das verzeichnis files vor dem indexieren ausschliessen.
Ich habe im doc.root die datei test.txt
Kann ich nun mit
Disallow: /test.txt
speziell diese eine Datein auch vor dem indexieren durch Suchmaschienen schützen? HAlten sich eigentlich auch alle Robots an die Vorgaben der robots.txt?
Gruß Rainer