robots.txt beachten

[Reiner]

Hallo,

ich baue gerade einen Crawler. Aber ich habe keinen Plan, wie das Funktionieren soll:

[...]

in Perl gibt es das Paket LWP, in PHP sicher ähnliches, daß Deine Wünsche erfüllt.

Gruß
Reiner