Webseite ohne Passwort "schützen"

[Michel]

Moin,

"Stellen Sie solche Dateien am besten in ein eigenes Verzeichnis ein und legen Sie dann zentral in einer robots.txt fest, dass Suchmaschinen sich auf keinen Fall an Inhalten dieses Verzeichnisses vergreifen."

Ich halte diesen Tipp für nicht besonders sinnvoll. Dadurch, dass man das "geheime" Verzeichnis in der robos.txt nennt, rückt man die zu schützende URL überhaupt erst in das Licht der Öffentlichkeit. Und auch bei den Suchmaschinen gilt bei mir: Schlafende Hunde soll man nicht wecken.

Kein Robot ist (gesetzlich) verpflichtet, sich an die robots.txt zu halten.

Grüße aus Hamburg
Michel