robots.txt

[Sven Rautenberg]

Moin!

User-agent: *
Disallow:

erlaubt das Indexieren aller Dateien und Verzeichnisse.

Wenn ich so einen Effekt wollte, würde ich die Datei einfach komplett leer anlegen.

Allerdings ist eine solche Angabe wenig Sinnvoll wenn man es vorher nicht eingeschränkt hat. Die robots.txt dient dazu Dinge zu "verbieten" und alles was nicht durch sie eingeschränkt ist, ist erlaubt.

Da "alles erlaubt" sowieso Standardverhalten ist, bringt es nichts, Verbote auf diese Weise aufzuheben.

- Sven Rautenberg