... und gerade lese ich in SELFHTML:

"In einer zentralen robots.txt können Sie dagegen unabhängig von der Datei- und Verweisstruktur Ihres Web-Projekts festlegen, welche Verzeichnisse und Verzeichnisbäume ausgelesen werden dürfen, und welche nicht."

Ich darf demnach etwas festlegen, was aber für die Katz ist?