Ingo Turski: robots

Beitrag lesen

Hi,

Mein geschütztes Verzeichnis mit AP:   "server/html/cgi-bin/GB/index.php"

#robots.txt im Verzeichnis cgi-bin:
User-agent: *
Disallow: /gb/

Dies sollte doch so funktionieren?

Nein, das ist dreifach falsch.

1. die robots.txt gehört in Root
2. /gb/ gibt an, dass sich dieses Verzeichnis direkt unterhalb des Root befindet
3. gb != GB

Wenn Dein Root /server/html/ ist, dann speicherst Du dort die robots.txt und trägst /cgi-bin/GB/ ein.

freundliche Grüße
Ingo