robots.txt startseite offen, rest gesperrt

[Sven Rautenberg]

Moin!

Naja, soweit ich es gelesen habe, gibt es keine Allow-Anweisung. Oder irre ich mich da...

Nein, das ist korrekt. Man hat zwar unlängst eine entsprechende Erweiterung angedacht, das wirkt aber logischerweise nur bei Spidern, die das auch umsetzen.

- Sven Rautenberg