Conny: robots.txt nützt nix :-(

Beitrag lesen

hallo,
Also zum thema robots.txt für was ist der gut,
wenn da trotzdem alle reinschnüffeln?
Beispiel:
ich habe eine robots.txt auf www.meineseite.de

robots.txt http://www.meineseite.de/

User-agent: *
Disallow: /member/
Disallow: /pure/
Disallow: /cgi-bin/
Disallow: /logs/
Allow: /index.html

dann müsste doch die verzeichnisse nicht einsehbar sein oder?
Wieso ich das weiss?
das problem ist, dass ich im /cgi-bin/ verzeichniss eine .htaccess
habe und jeder zugriff auf ein nicht existierende datei weitergeleitet
wird auf ein cgi das dann aktiv wird und den ungebetenen gast weiter
leitet nach draussen :) gleichzeitig krieg ich dann ne mail
von wo der user kam und welche ip etc..
wieso ist das denn überhaubt möglich?
Gruss von der Conny
P.S.Oder gibts da noch programme die extra dafür spezialisiert sind
nur dateien zu finden die nicht erlaubt sind?