Hallo,
Ganz einfach, der Rechner, auf dem das Ding laeuft, tritt permanent als http-Client auf. Dazu nimmst Du ein browseraehnliches Modul aus der Bibliothek Deiner bevorzugten Entwicklungsumgebung. 'Perl' waere z.B. geeignet und nennt das o.g. Ding 'user agent'. 'ASP' von M$ kennt da http-Objekte. 'PHP' und andere serverseitige Logik wird da nicht zurueckstehen.
Das Ding erhaelt dann html-Daten, die es parsen muss, um weitere http-Refereneen zu erhalten. Parallel dazu durchkaemmt es den Code und fuettert seine Datenhaltung.
so habe ich es mir auch gedacht - aber ist das nicht illegal, wenn ich einfach von denen Content "abzwacke" und ihn mir zu eigen mache?
lg,
Innuendo