Robots nur zu bestimmten Zeiten?

[Sven Rautenberg]

Moin!

[1] Im Prinzip ja. Du könntest die robots.txt mit einer serverseitigen Sprache dynamisch generieren ("du darfst, du darfst nicht, du darfst...") - aber ich rate davon eingehend ab.

Weil Spider sich diese Datei durchaus cachen, und auch dann nicht wiederkommen, wenn die Datei den Zugriff erlauben würde.

- Sven Rautenberg