Robbe: Spider Problem

SELF-Forum

Spider Problem

Robbe
– Informationen zu den Bewertungsregeln

Hallo selfer :],

Ich möchte mit einem irdendeinem Spider-Programm folgendes realisieren:

  • Druchlaufe eine URL und checke alle vorhanden internen Links auf bel. vielen Unterseiten..
  • Dabei soll nur der Title der generierten HTML-Seiten in einer Liste (am besten csv) sowie der Link selber als ein Datensatz in der Datei gespeichert werden.

Kennt da jmd. ein Programm mit dem man dieses Problem realisieren kann - ich wäre euch sehr dankbar - habe den ganzen Tag heut nach so einem Programm gschaut - mit negativem ergebniss :((?

cya =),
Robbe.

Beitrag melden
–
Informationen zu den Bewertungsregeln

  1. Spider Problem

    Rolf Rost Homepage des Autors
    – Informationen zu den Bewertungsregeln

    hi,

    Kennt da jmd. ein Programm mit dem man dieses Problem realisieren kann - ich wäre euch sehr dankbar - habe den ganzen Tag heut nach so einem Programm gschaut - mit negativem ergebniss :((?

    Nun, wennscho SELF, dann richtig ;-)

    In PERL gibt es die Module

    use LWP::UserAgent;
    use HTML::LinkExtor;

    aus der Library f WWW Access in PERL (libwww), damit könntest Du Dein Vorhaben z.B. in PERL verwirklichen.

    Gruss, Rolf

    Beitrag melden
    –
    Informationen zu den Bewertungsregeln

    1. Spider Problem

      Robbe
      – Informationen zu den Bewertungsregeln

      ich wollte eigentlich nicht das rad neu erfinden ;), nee mal im ernst, kennt zufällig jmd. so ein Tool?

      cya, RObbe.

      Beitrag melden
      –
      Informationen zu den Bewertungsregeln