robots.txt

[Youngster]

Hi,

»» > Das bringt dir auch nichts.
»» mit andern Worten "robots.txt gar nicht verwenden"?

Natürlich. Es ist den Server schliesslich performanter, wenn die meisten unerwünschten Requests gar nicht erst kommen, als wenn man sie verbieten muss.

da ich gerade mit Google-Webmaster kämpfe, bin ich zum Glück (oder Unglück?)
auf diesen thread gestoßen.
Ich habe in Unterverzeichnissen Bilder, in anderen html-Fragmente, die ich in die SHTML-Dateien einbinde (mit SSI), in wieder anderen eine Javascript-Bibliothek usw..
Diese Unterverzeichnisse wollte ich nun aufgrund der Hinweise bei Google verbieten per Disallow.
Also alles umsonst?

Viele Grüße
Youngster