Spider-/Robotprogrammierung

[Jörg Dutschke]

Hallo Gemeinde!

Ich habe mir in den Kopf gesetzt, einen eigenen Spider/Robot zu programmieren, der eine von mir vorgegebene Liste von Seiten anläuft und mir bei Aktualisierungen eine Message zukommen lassen soll.
Services wie z.B. NetMind fallen aus, da diese "zu selten" die abonnierten Seiten checken.

Kennt jemand ne gute Anleitung oder Proggies oder Scripte die diese Aufgaben lösen können?

Wäre nett, wenn ihr dazu vielleicht ein paar Infos hättet.

Vielen Dank + Grüße vom Bodensee
Jörg

[Thomas Kallwaß]

Hallo

Kennt jemand ne gute Anleitung oder Proggies oder Scripte die diese Aufgaben lösen können?

http://homemade.hypermart.net/websec/
Web Secretary  muss allerdings als Cronjob ausgefuehrt werden. Das Teil duerfte deinen Anforderungen am besten nachkommen.

MfG
Thomas

[Sebastian Will]

Grüezi,

Kennt jemand ne gute Anleitung oder Proggies oder Scripte die diese Aufgaben lösen können?

Ich habe mal einen Webcrawler unter Java geschrieben, war nicht weiter schwierig. Den Sourcecode habe ich im Moment nicht greifbar, aber die Klassen in java.lang.net.* sollten dir weiterhelfen. In der Doku sind, soweit ich mich erinnere, auch Beispiele, wie man eine Webseite zieht, das Ergebnis mußt du dann noch parsen.

Laufen könnte das ganze auf einem Account mit Standleitung, etwa einem homeverzeichnis an der Uni, eine Email-Bibliothek hat c't mal ausgebaut, da bräuchtest du halt noch Infos.

Per PHP sollte das ganze auch realisierbar sein, wie der Part mit dem "Ich laufe ständig im Hintergrund und benachrichtige dich dann" laufen soll, kann ich mir jetzt gerade nicht vorstellen. Als dritte Alternative ein Perl-Skript, daß per crond getriggert wird - aber wenn du nicht gerade selbst einen Linux-Server stehen hast, kommt man noch selten an telnet-Zugriff und damit crond-Zugriff bei den Providern.

Hoffe, ein wenig geholfen zu haben

<mfg>Sebastian Will</mfg>