Lude: Webcrawler

Beitrag lesen

Hallo,

möchte mir gerne einen kleinen Webcrawler basteln.

Fragen:
Mit welchem Tool soll das Proggie auf die HTTP-Addresse zugreifen? -Was wird da empfohlen?
Wo gibt's so etwas, idealerweise in VBasic, zum 'Runterladen im Web? Beispielcode genügt mir auch.
Läuft die Sache mit einem TDSL-Client so performant, dass die Themensuche(Hauptanforderung an das Prog) brauchbar unterstützt wird?
Was ist "sonst so" noch zu beachten?

Gruss,
Lude