Markus: robots.txt

Beitrag lesen

Hallo,

User-agent: *
Disallow:

erlaubt das Indexieren aller Dateien und Verzeichnisse. Allerdings ist eine solche Angabe wenig Sinnvoll wenn man es vorher nicht eingeschränkt hat. Die robots.txt dient dazu Dinge zu "verbieten" und alles was nicht durch sie eingeschränkt ist, ist erlaubt.

Gruß

Markus