nicht angemeldet
Hallo Sven,
Weil Spider sich diese Datei durchaus cachen, und auch dann nicht wiederkommen, wenn die Datei den Zugriff erlauben würde.
Dessen bin ich mir gar nicht mal so sicher. Soweit ich das in einer Logdatei meines Servers verifizieren kann, holen sich die meisten Bots diese Datei immer wieder neu - wobei nicht geklärt ist, was passiert, wenn ich tatsächlich einige Bots aussperre.
Auf jeden Fall sollte man die robots.txt nicht dynamisch ändern - dazu ist sie einfach nicht erschaffen worden.
Grüße
Marc Reichelt || http://www.marcreichelt.de/
--
Linux is like a wigwam - no windows, no gates and an Apache inside!
Selfcode: ie:{ fl:| br:> va:} ls:< fo:} rl:( n4:( ss:) de:> js:| ch:? sh:| mo:) zu:)
Linux is like a wigwam - no windows, no gates and an Apache inside!
Selfcode: ie:{ fl:| br:> va:} ls:< fo:} rl:( n4:( ss:) de:> js:| ch:? sh:| mo:) zu:)