Besucher mit russischen Referer sperren

[Jörg Reinholz]

Hallo,

Sperrt vieleicht eine robots.txt auch das Programm wget aus?

wohl kaum, denn die robots.txt ist eine gewöhnliche Textdatei, die vom Client explizit angefordert, abgeholt und interpretiert werden muss. Anständige Bots tun das, aber wget fragt direkt die angegebene URL ab. Eine eventuell existierende robots.txt bliebe wirkungslos.

Aus meiner /etc/wgetrc

Setting this to off makes Wget not download /robots.txt.  Be sure to

know *exactly* what /robots.txt is and how it is used before changing

the default!

#robots = on

Ich wollte schon was sagen, dann habe ich in dem manpages zu wget nachgelesen:

... This is sometimes referred to as "recursive downloading."  While doing that, Wget respects
the Robot Exclusion Standard (/robots.txt).

Ok. Im konkreten Fall hast Du Recht. ... Aber nicht in jedem.[*grummel*]

Jörg Reinholz