robots.txt - Unterverzeichnisse

[Calocybe]

Moin!

User-agent: *
Disallow: /cgi-bin/
Disallow: /lib/
Allow: /lib/wap/

Wie bereits festgestellt wurde, gibt es sowas wie Allow nicht.

Es soll also den Robots verboten werden, /cgi-bin/ zu indexen, was auch ok ist. Schliesst diese Angabe denn auch Unterverzeichnisse mit ein, also z.B. /cgi-bin/mail/

Es gibt fuer robots.txt auch nicht das Konzept der Unterverzeichnisse. Es gibt nur URLs, und wenn deren Pfad (der Teil nach dem Server) mit der jeweiligen Angabe *anfaengt*, trifft das Disallow zu. Heisst im Klartext, wenn Du /help auf Disallow setzt, wird auch /helpme.htm nicht besucht.

HTH && So long

--