Crawler/Spider für passwortgeschützte Seite gesucht

[Droomdre]

Hi folks,

ich habe eine Webseite, die ich crawlen möchte. 80% von den Seiten sind passwortgeschützt und man muss sich über ein Formular anmelden. Ich bin auf der Suche nach einem Crawler, womit ich die gesamte Webseite herunterladen kann. Ich habe httrack probiert aber er hat Schwierigkeiten wegen dem Einloggen-Mechanismus. Kennt einer von euch ein gutes funktionnierendes Programm?

MfG Droom

[woodfighter]

Tach,

ich habe eine Webseite, die ich crawlen möchte. 80% von den Seiten sind passwortgeschützt und man muss sich über ein Formular anmelden. Ich bin auf der Suche nach einem Crawler, womit ich die gesamte Webseite herunterladen kann. Ich habe httrack probiert aber er hat Schwierigkeiten wegen dem Einloggen-Mechanismus. Kennt einer von euch ein gutes funktionnierendes Programm?

gib httrack entweder die zu einer angelemldeten URL gehörende Session-ID oder den entsprechenden Cookie mit.

mfg
Woodfighter

[TS]

Hallo und guten Tag,

ich habe eine Webseite, die ich crawlen möchte. 80% von den Seiten sind passwortgeschützt und man muss sich über ein Formular anmelden. Ich bin auf der Suche nach einem Crawler, womit ich die gesamte Webseite herunterladen kann. Ich habe httrack probiert aber er hat Schwierigkeiten wegen dem Einloggen-Mechanismus. Kennt einer von euch ein gutes funktionnierendes Programm?

Jetzt habe ich aber den "Joke-Schalter" übersehen, oder?

Wozu sind denn wohl Zugriffsschutzmaßnahmen da?

Übrigens ist es ein Gesetzesverstoß, wenn man "geeignete Maßnahmen zum Zugriffsschutz" versucht, zu umgehen. Wann der Tatbestand des Umgehungsversuches eintritt, mag zwar noch diskutiert werden, aber spätestens nach der 100sten Abfuhr sollte er wohl erfüllt sein...

Grüße
TS

[Droomdre]

Die Seite gehört mir. Ich muss es nur archivieren. Diese wurde mit Typo3 erstellt und ich wollte eine html-offline version haben.