nicht angemeldet
robots.txt - Unterverzeichnisse
Haloo Leute,
eine kurze Frage:
Ich habe eine solche robots.txt erstellt:
User-agent: *
Disallow: /cgi-bin/
Disallow: /lib/
Allow: /lib/wap/
Es soll also den Robots verboten werden, /cgi-bin/ zu indexen, was auch ok ist. Schliesst diese Angabe denn auch Unterverzeichnisse mit ein, also z.B. /cgi-bin/mail/
Gehen meine beiden anderen Zeilen, das Komplette /lib/ Verzeichnis zu verbieten (inkl. aller Unterverzeichnisse???) ausser dem /lib/wap/ Verzeichnis?
Vielen Dank für Eure Hilfe!
Pedder
-
Nabbend,
Schliesst diese Angabe denn auch Unterverzeichnisse mit ein
Ja.
Allow: /lib/wap/
Es gibt kein Allow.
http://www.robotstxt.org/wc/exclusion-admin.html
-
-
Hallo Alex,
Es gibt kein Allow.
wirklich: http://selfhtml.teamone.de/diverses/robots.htmdiesen Fehler in SELFHTML hast Du bereits gemeldet?
"Benutzen Sie im Zweifelsfall so viel wie möglich die Angabe Disallow:
und so wenig wie möglich die Angabe Allow:. Der Grund ist, dass
Disallow: früher in die Spezifikation der robots.txt aufgenommen
wurde und von mehr Robots verstanden wird als Allow:."Diese Aussage ist falsch, es gibt afaik keinen populären Robot, der
Allow: versteht.
Deshalb sollte der Hinweis auf Allow: komplett aus SELFHTML raus oder
aber zumindest umformuliert werden.Viele Grüße,
Stefan
-
-
-
Moin!
User-agent: *
Disallow: /cgi-bin/
Disallow: /lib/
Allow: /lib/wap/Wie bereits festgestellt wurde, gibt es sowas wie Allow nicht.
Es soll also den Robots verboten werden, /cgi-bin/ zu indexen, was auch ok ist. Schliesst diese Angabe denn auch Unterverzeichnisse mit ein, also z.B. /cgi-bin/mail/
Es gibt fuer robots.txt auch nicht das Konzept der Unterverzeichnisse. Es gibt nur URLs, und wenn deren Pfad (der Teil nach dem Server) mit der jeweiligen Angabe *anfaengt*, trifft das Disallow zu. Heisst im Klartext, wenn Du /help auf Disallow setzt, wird auch /helpme.htm nicht besucht.
HTH && So long
--