Dr.Colossos: Website Crawler [revisited]

Beitrag lesen

Hi,

Informationen sind das Kapital dieser Seiten - deshalb wirst du wohl davon ausgehen koennen, dass sie dieses auch schuetzen wollen.

Mmmh, bin (leider) ganz deiner Meinung.

Zum einen mal technisch - wenn du immer wiederholt Anfragen von deinem Server aus stellst, wird das als Muster in den Logfiles sicher bald auffaellig werden, und dir der Zugriff abgedreht werden.

Mmmh, bin (leider) wieder ganz deiner Meinung.

Und wenn das erst mal aufgefallen ist, koennten sie auch versuchen, dich dann rechtlich zu belangen - wegen des Verstosses geben ihre AGB o.ae., die solch einen Zugriff vermutlich zu untersagen versuchen.

Dann sollte man sich mit den Anbietern in Verbindung setzen, ob und ggf. zu welchen Konditionen sie solche Zugriffe gestatten wuerden; und ob sie ggf. auch eine API dafuer anbieten, damit man nicht aufwendig HTML-Ergebnisseiten parsen muss.

Tja, ob er für den Service zahlen würde ... er will ja Zeit/Geld sparen mit dem Automatismus.

Danke derweil!