Andreas Korthaus: wget funkitoniert nicht mit robots.txt?

Beitrag lesen

Hallo nochmal

User-Agent: *
Disallow: /

^^^^^^^^^^^   das Proble liegt in dieser Zeile.

Allow: /archiv/
Allow: /faq/

ohne Disallow: / funktioniert es ebenfalls. wget scheint da nicht ganz korrekt zu interpretieren.

Grüße
Andreas