Droomdre: Crawler/Spider für passwortgeschützte Seite gesucht

Beitrag lesen

Hi folks,

ich habe eine Webseite, die ich crawlen möchte. 80% von den Seiten sind passwortgeschützt und man muss sich über ein Formular anmelden. Ich bin auf der Suche nach einem Crawler, womit ich die gesamte Webseite herunterladen kann. Ich habe httrack probiert aber er hat Schwierigkeiten wegen dem Einloggen-Mechanismus. Kennt einer von euch ein gutes funktionnierendes Programm?

MfG Droom