In der robots.txt trägst Du das (hoffentlich) geschützte Verzeichnis ein.
Mein geschütztes Verzeichnis mit AP: "server/html/cgi-bin/GB/index.php"
#robots.txt im Verzeichnis cgi-bin:
User-agent: *
Disallow: /gb/
Dies sollte doch so funktionieren?
Schönes weekend!
mfg