Pedder: robots.txt - Unterverzeichnisse

Beitrag lesen

Haloo Leute,

eine kurze Frage:

Ich habe eine solche robots.txt erstellt:

User-agent: *
Disallow: /cgi-bin/
Disallow: /lib/
Allow: /lib/wap/

Es soll also den Robots verboten werden, /cgi-bin/ zu indexen, was auch ok ist. Schliesst diese Angabe denn auch Unterverzeichnisse mit ein, also z.B. /cgi-bin/mail/

Gehen meine beiden anderen Zeilen, das Komplette /lib/ Verzeichnis zu verbieten (inkl. aller Unterverzeichnisse???) ausser dem /lib/wap/ Verzeichnis?

Vielen Dank für Eure Hilfe!

Pedder