Robots.txt

[tobi]

Hallo,

ist es möglich, in einer robots.txt generell das Auslesen eines bestimmten Dateientypus, z.B.. .txt zu verbieten;

Und kann man auch das Auslesen einer .html Dokumentes in einem bestimmten Ordner verbieten, aber den Rest des Ordners auslesbar lassen?

MfG

[Ashura]

Hallo tobi.

ist es möglich, in einer robots.txt generell das Auslesen eines bestimmten Dateientypus, z.B.. .txt zu verbieten;

AFAIR müsste dies so machbar sein:

User-agent: *
Disallow: *.txt

Und kann man auch das Auslesen einer .html Dokumentes in einem bestimmten Ordner verbieten, aber den Rest des Ordners auslesbar lassen?

User-agent: *
Disallow /mein-ordner/*.htm
Disallow /mein-ordner/*.html

Siehe auch [Wikipedia: Robots.txt]

Einen schönen Donnerstag noch.

Gruß, Ashura

[Ingo Turski]

Hi,

AFAIR müsste dies so machbar sein:

User-agent: *
Disallow: *.txt

Siehe auch [Wikipedia: Robots.txt]

da solltest Du auch mal reinschauen:
"Bei den Angaben zu Disallow: können Sie Verzeichnispfade und einzelne Dateien mit Pfadangabe angeben. Wildcards wie * oder *.* sind dabei *nicht* erlaubt."

Oder aus der Quelle http://www.robotstxt.org/wc/exclusion-admin.html:
"Note also that regular expression are not supported in either the User-agent or Disallow lines. The '*' in the User-agent field is a special value meaning "any robot". Specifically, you cannot have lines like "Disallow: /tmp/*" or "Disallow: *.gif"."

freundliche Grüße
Ingo

[Ashura]

Hallo Ingo.

Siehe auch [Wikipedia: Robots.txt]
da solltest Du auch mal reinschauen:
"Bei den Angaben zu Disallow: können Sie Verzeichnispfade und einzelne Dateien mit Pfadangabe angeben. Wildcards wie * oder *.* sind dabei *nicht* erlaubt."

Ist mir beim Überfliegen entgangen, danke für die Korrektur.
Dann bliebe wohl tatsächlich nur die „harte“ Lösung per <Files>, Allow und Deny.

Einen schönen Donnerstag noch.

Gruß, Ashura