Robots.txt

[Ashura]

Hallo tobi.

ist es möglich, in einer robots.txt generell das Auslesen eines bestimmten Dateientypus, z.B.. .txt zu verbieten;

AFAIR müsste dies so machbar sein:

User-agent: *
Disallow: *.txt

Und kann man auch das Auslesen einer .html Dokumentes in einem bestimmten Ordner verbieten, aber den Rest des Ordners auslesbar lassen?

User-agent: *
Disallow /mein-ordner/*.htm
Disallow /mein-ordner/*.html

Siehe auch [Wikipedia: Robots.txt]

Einen schönen Donnerstag noch.

Gruß, Ashura