Calocybe: robtos.txt muss man auch bilderordner intergrieren?

Beitrag lesen

Auch Moin!

Es ist nicht möglich, in der robots.txt Angaben zu machen, welche Verzeichnisse _doch_ indiziert werden sollen, weil eben nur "Disallow" vorgesehen ist, nicht "Allow".

Wobei man hier erwaehnen sollte, dass an einigen Stellen im Web - ich glaube auch in Selfhtml - die Moeglichkeit eines Allow genannt wird. Das bedeutet aber nicht, dass Du voellig debil bist *g*, sondern dass diese Moeglichkeit bisher nirgendwo standardisiert ist.[1] Es gibt lediglich einen Internet-Draft, in dem das Allow behandelt wird.

[1] Genaugenommen ist die robots.txt ueberhaupt nicht standardisiert. Es gibt aber einen "Konsens" darueber, der bis heute allgemein anerkannt ist: http://www.robotstxt.org/wc/norobots.html.

So long

--
Your password must be at least 18770 characters and cannot repeat any of your previous 30689 passwords.
    -- http://support.microsoft.com/default.aspx?scid=kb;en-us;Q276304