robots.txt

[Auge]

Hallo

Ich habe in Unterverzeichnissen Bilder, in anderen html-Fragmente, die ich in die SHTML-Dateien einbinde (mit SSI), in wieder anderen eine Javascript-Bibliothek usw..
Diese Unterverzeichnisse wollte ich nun aufgrund der Hinweise bei Google verbieten per Disallow.
Also alles umsonst?

bezüglich Google ist das nicth umsonst, Google beachtet die robots.txt. Aber, wie schon mehrfach erwähnt, ist dies *kein* "Zugriff-für-alle-verbieten-Schutzmechanismus". Bei deinen per SSI einzubindenden HTML-Fragmenten sollte eine serverseitige Authentifizierung den direkten Zugriff für Clients unmöglich machen, SSI greift auf diese Daten über das Dateisystem zu, womit dieser Zugriff möglich bleibt.

Die Bilder werden aber, so sie in eine Webseite eingebunden werden, vom Client/Browser per HTTP(S) geladen und müssen öffentlich zugänglich bleiben. An der Stelle hilft die robots.txt den direkten Zugriff für jene Clients/Robots zu sperren, die sich nach den in der robots.txt hinterlegten Anweisungen richten. Die, die sich nicht danach richten, haben, wie jeder Browser, der Bilder lädt, weiterhin Zugriff.

Tschö, Auge