nicht angemeldet
Hallo,
möchte mir gerne einen kleinen Webcrawler basteln.
Fragen:
Mit welchem Tool soll das Proggie auf die HTTP-Addresse zugreifen? -Was wird da empfohlen?
Unter Perl: lwp (useragent,robotsua, simple)
Das bekommt man generell bei [http://www.cpan.org]
Wo gibt's so etwas, idealerweise in VBasic, zum 'Runterladen im Web? Beispielcode genügt mir auch.
Ist VB nicht clientseitig? Keine Ahnung...
Läuft die Sache mit einem TDSL-Client so performant, dass die Themensuche(Hauptanforderung an das Prog) brauchbar unterstützt wird?
Ich weiß ja nicht, wie Du vorgehen willst. Sinnvoll ist es NICHT, das in Echtzeit zu holen, von daher ist die Geschwindigkeit (außer für den User, der sucht) uninteressant.
Also, man muß den Roboter von der eigentlichen Suche unterscheiden!
Was ist "sonst so" noch zu beachten?
Ordentliche Datenbank, Struktur derselben überlegen, d.h. welche Daten brauchst Du wirklich, welche sind uninteressant.
lg
Reiner