Haloo Leute,
eine kurze Frage:
Ich habe eine solche robots.txt erstellt:
User-agent: *
Disallow: /cgi-bin/
Disallow: /lib/
Allow: /lib/wap/
Es soll also den Robots verboten werden, /cgi-bin/ zu indexen, was auch ok ist. Schliesst diese Angabe denn auch Unterverzeichnisse mit ein, also z.B. /cgi-bin/mail/
Gehen meine beiden anderen Zeilen, das Komplette /lib/ Verzeichnis zu verbieten (inkl. aller Unterverzeichnisse???) ausser dem /lib/wap/ Verzeichnis?
Vielen Dank für Eure Hilfe!
Pedder