nicht angemeldet
disallow in den robots: ja.
Ohne weiteren _wirksamen_ Zugriffsschutz: nein
Tach! Post!
Wieso? Ist doch geil! Du musst das differenzierter sehen:
Weich und ok.:
Untersage Suchmaschinen das Abrufen und Indexieren der Pics von einem Webhost. Spart Abmahnungen.
Weich und ok:
Untersage Suchmaschinen das Abrufen und Indexieren des Impressums. Schafft eine gewisse Privatsphäre.
Weich, nicht ganz o.k., besser möglich:
Untersage Suchmaschinen das Abrufen und Indexieren von Kontaktformularen - das aber besser mit:<meta name="robots" content="noindex" /> im HTML-Header.
Spart (insbesondere als Meta-Tag) Zugriffe von Formular-Spammern, welche Suchmaschinen missbrauchen um Kontaktformulare zu finden.
Lockt (in der robots.txt) unerwünschte Besucher, welche diese Ressiource auswerten.
Hammerhart:
Man sagt den seriösen Suchmaschinen:
in der Robots.txt:
Disallow: /admin/*
(Das Verzeichnis admin gibt es natürlich nicht...)
... und wer dennoch etwas unterhalb von /admin/ aufruft landet dank des Honigtopfes mit seiner IP in der htaccess (deny from ...) und sieht einen "netten" Hinweis. "<h1>Tach Hackerleinchen!</h1><p>Drück doch mal [F5] um an supergeheime Informationen zu gelangen!</p>".
Wenn dann als 403er-error-document noch http://www.bka.de/ drin steht, dann ist der Effekt groß :)
VOLLKOMMENER UNSINN:
In der robots.txt Webseiten mit vertraulichen Inhalten oder eine existierende "login.php" aufzuführen. Das schafft erst Anreiz diese Ressourcen zu testen und dann hat man a) mehr unerwünschten Traffic und b) oft ein echtes Problem.
Fred.
suit