Reiner: verteiltes Crawlen

Beitrag lesen

Hi Christoph,

ich tüftel gerade an einer Idee rum und wollte dazu einladen, an einem Test teilzunehmen.

Was gibt's dafür als Gegenleistung? Nein, ich meine kein Geld, zumindest nicht primär.

ja, Geld keines.
Vielleicht bald etwas anderes (besser will ich nicht behaupten) neben Google?! ;-)

Ich habe hier zwei Programme (~ 2.3MB, gezippt) hinterlegt, die ein verteiltes Crawlen ermöglichen sollen.

Es ist nett, das man erst nach dem Download erfährt, das das Windows-only ist. Die Erwähnung von Skripten weiter unten hatte mich wohl irritiert (die Größe eher weniger, vielleicht hast Du ja die Datenbank gleich mit drin), ich konnte nicht riechen, das Du hier ein paar Perlskripte "kompiliert" hast.

Das Programm sucht NICHT auf der lokalen Platte, höchstens auf localhost, wenn diese Anfrage kommt. Es beinhaltet KEINE Viren und KEINE Trojaner!!!

Du hättest Dir diesen Hinweis sparen können (den zu überprüfen übrigens _erheblichen_ Aufwand bedeuten würde!) wenn Du die Perlskripte einfach direkt in das Zip gepackt hättest. Wäre vor allem _erheblich_ kleiner geworden das Zip.

Du hast Recht. Hätte ich erwähnen sollen.
Deswegen habe ich das mit der Spy...usw.-Ware erwähnt.

Als Perlscripte wäre es viel zu komplex. Man muß dazu allerhand Module on Board haben. Das hat eine einfache Linuxinstallation nicht, geschweige, daß Otto-Normal-Windows-User Active-Perl das im Detail beibringen. (Soll nicht hochnäsig klingen, aber alle Details zu erläutern war mir zu kompliziert. Zudem sieht das Script nicht zeigenswert aus...).

Gruß
Reiner