Lude: Webcrawler

SELF-Forum

Webcrawler

Lude
– Informationen zu den Bewertungsregeln

Hallo,

möchte mir gerne einen kleinen Webcrawler basteln.

Fragen:
Mit welchem Tool soll das Proggie auf die HTTP-Addresse zugreifen? -Was wird da empfohlen?
Wo gibt's so etwas, idealerweise in VBasic, zum 'Runterladen im Web? Beispielcode genügt mir auch.
Läuft die Sache mit einem TDSL-Client so performant, dass die Themensuche(Hauptanforderung an das Prog) brauchbar unterstützt wird?
Was ist "sonst so" noch zu beachten?

Gruss,
Lude

Beitrag melden
–
Informationen zu den Bewertungsregeln

  1. Webcrawler

    Reiner Homepage des Autors
    – Informationen zu den Bewertungsregeln

    Hallo,

    möchte mir gerne einen kleinen Webcrawler basteln.

    Fragen:
    Mit welchem Tool soll das Proggie auf die HTTP-Addresse zugreifen? -Was wird da empfohlen?

    Unter Perl: lwp (useragent,robotsua, simple)
    Das bekommt man generell bei [http://www.cpan.org]

    Wo gibt's so etwas, idealerweise in VBasic, zum 'Runterladen im Web? Beispielcode genügt mir auch.

    Ist VB nicht clientseitig? Keine Ahnung...

    Läuft die Sache mit einem TDSL-Client so performant, dass die Themensuche(Hauptanforderung an das Prog) brauchbar unterstützt wird?

    Ich weiß ja nicht, wie Du vorgehen willst. Sinnvoll ist es NICHT, das in Echtzeit zu holen, von daher ist die Geschwindigkeit (außer für den User, der sucht) uninteressant.
    Also, man muß den Roboter von der eigentlichen Suche unterscheiden!

    Was ist "sonst so" noch zu beachten?

    Ordentliche Datenbank, Struktur derselben überlegen, d.h. welche Daten brauchst Du wirklich, welche sind uninteressant.

    lg
    Reiner

    Beitrag melden
    –
    Informationen zu den Bewertungsregeln

    1. Webcrawler

      Lude
      – Informationen zu den Bewertungsregeln

      Hi,

      Wo gibt's so etwas, idealerweise in VBasic, zum 'Runterladen im Web? Beispielcode genügt mir auch.

      Ist VB nicht clientseitig? Keine Ahnung...

      Soll nicht auf dem Server laufen, sondern zu Hause "auf" meinem TDSL-Flatrate-Client.

      Läuft die Sache mit einem TDSL-Client so performant, dass die Themensuche(Hauptanforderung an das Prog) brauchbar unterstützt wird?

      Ich weiß ja nicht, wie Du vorgehen willst. Sinnvoll ist es NICHT, das in Echtzeit zu holen, von daher ist die Geschwindigkeit (außer für den User, der sucht) uninteressant.
      Also, man muß den Roboter von der eigentlichen Suche unterscheiden!

      Was ist für Dich Echtzeit in diesem Kontext? Nix capito.

      lg
      Reiner

      lg = liebe Grüsse? - right?     :-)

      Gruss,
      Lude

      Beitrag melden
      –
      Informationen zu den Bewertungsregeln

      1. Webcrawler

        Reiner Homepage des Autors
        – Informationen zu den Bewertungsregeln

        Hi,

        Wo gibt's so etwas, idealerweise in VBasic, zum 'Runterladen im Web? Beispielcode genügt mir auch.

        Ist VB nicht clientseitig? Keine Ahnung...

        Soll nicht auf dem Server laufen, sondern zu Hause "auf" meinem TDSL-Flatrate-Client.

        Deswegen ist es von der Technik dennoch ein Server, oder?

        Läuft die Sache mit einem TDSL-Client so performant, dass die Themensuche(Hauptanforderung an das Prog) brauchbar unterstützt wird?

        Ich weiß ja nicht, wie Du vorgehen willst. Sinnvoll ist es NICHT, das in Echtzeit zu holen, von daher ist die Geschwindigkeit (außer für den User, der sucht) uninteressant.
        Also, man muß den Roboter von der eigentlichen Suche unterscheiden!

        Was ist für Dich Echtzeit in diesem Kontext? Nix capito.

        Es geht nicht um Echtzeit...
        Man sammelt die Daten einfach mit einem Roboter (und wenn es Tage dauert) und gibt sie mit einer Datenbankabfrage schnellstmöglichst aus.

        lg
        Reiner

        lg = liebe Grüsse? - right?     :-)

        genau!

        lg
        Reiner

        Beitrag melden
        –
        Informationen zu den Bewertungsregeln