robots.txt nützt nix :-(

[Conny]

hallo,
Also zum thema robots.txt für was ist der gut,
wenn da trotzdem alle reinschnüffeln?
Beispiel:
ich habe eine robots.txt auf www.meineseite.de

robots.txt http://www.meineseite.de/

User-agent: *
Disallow: /member/
Disallow: /pure/
Disallow: /cgi-bin/
Disallow: /logs/
Allow: /index.html

dann müsste doch die verzeichnisse nicht einsehbar sein oder?
Wieso ich das weiss?
das problem ist, dass ich im /cgi-bin/ verzeichniss eine .htaccess
habe und jeder zugriff auf ein nicht existierende datei weitergeleitet
wird auf ein cgi das dann aktiv wird und den ungebetenen gast weiter
leitet nach draussen :) gleichzeitig krieg ich dann ne mail
von wo der user kam und welche ip etc..
wieso ist das denn überhaubt möglich?
Gruss von der Conny
P.S.Oder gibts da noch programme die extra dafür spezialisiert sind
nur dateien zu finden die nicht erlaubt sind?

[Sönke Tesch]

Also zum thema robots.txt für was ist der gut,
wenn da trotzdem alle reinschnüffeln?

Ich stelle mir häufig eine ähnliche Frage: Wozu ist ein Tempo-100-Schild gut, wenn trotzdem alle 150 fahren?

Nur weil in Deiner robots.txt irgendwelche disallow-Zeilen drinstehen, heißt das noch lange nicht, daß sich jeder dran hält - aber viele tun es.

Gruß,
  soenk.e