nicht angemeldet
Hallo Thilo,
nachdem die robots.txt nicht zwangsläufig von allen Robots genutzt wird und wenn, die Einhaltung der Inhalte immernoch nicht sichergestellt ist, sollte man deren Sinn eh etwas in Frage stellen.
Andererseits ist sie wohl kaum größer als 2kb und läßt sicher daher auch mal sicherheitshalber ins Verzeichnis legen. Ob sie dann tatsächlich genutzt wird oder nicht ist ja egal. Einfach mal probieren.
Grüße aus Würzburg
Julian