nicht angemeldet
Hallo Peter,
ist es irgendwie möglich, dass man Robots mitteilt, dass sie nur zu bestimmten Zeiten crawlen dürfen?
Nein. [1]
Grüße
Marc Reichelt || http://www.marcreichelt.de/
[1] Im Prinzip ja. Du könntest die robots.txt mit einer serverseitigen Sprache dynamisch generieren ("du darfst, du darfst nicht, du darfst...") - aber ich rate davon eingehend ab.
--
Linux is like a wigwam - no windows, no gates and an Apache inside!
Selfcode: ie:{ fl:| br:> va:} ls:< fo:} rl:( n4:( ss:) de:> js:| ch:? sh:| mo:) zu:)
Linux is like a wigwam - no windows, no gates and an Apache inside!
Selfcode: ie:{ fl:| br:> va:} ls:< fo:} rl:( n4:( ss:) de:> js:| ch:? sh:| mo:) zu:)