verteiltes Crawlen

[Reiner]

Hi,

Ok, überzeugt!

Oh, das war aber einfach diesmal ;-)

man ist ja lernfähig...

Ich kann das aber wohl schlecht in dieser Version offenlegen.

Die solltest Du eigentlich und vor allem sicherheitshalber sogar zurückziehen und die DB dichtmachen.

Das hast Du ja selbst erkannt, daß da momentan ein DB-Zugriff drinsteckt. Also muß man wohl eine Schnittstelle schaffen.

Ja, das wäre wohl besser glaube ich ;-)
Aber sowas passiert einem Anfänger schnell mal und ich nehme mal an, das Du das auch kein zweitesmal mehr machen wirst oder?

Ich halte mich nicht für einen Anfänger, aber das ist relativ.
Wenn jemand sich der destruktiven Mühe machen wollte, in die DB reinzukommen, wäre das kein Problem! Die Rechte sind für den Account entspr. gesetzt. Selbst wenn wirkliches Chaos entstünde, habe ich eine Kopie. Ich hatte auch nicht vor, ein paar Wochen testen zu lassen, das wird wieder dicht gemacht.

Aber Scherz beiseite: für diesen Fall - und natürlich nicht zuletzt die soziale Komponente: "Er hat zumindest schonmal 'was Funktionierendes!" - gibt es den "Proof of Concept", die "Probe auf's Exempel" wie der Deutsche sagen würde. Statt verschwurbelter Erklärungen gibt es einfach eine Portion mehr oder weniger (ich hoffe doch schwer "mehr"? ;-) gut kommentierten Code.

Ich will nicht zu viel Hoffnung erwecken, aber Du wirst etwas bekommen. Schritt für Schritt!

Und ja: ich meine diesen Grund! Das Script sieht noch etwas krautig aus und ich habe keinen Bock auf eine Diskussion à la "das könnte man hier und da anders schreiben und warum machst Du das denn da?".

Ah, mit Verlaub, aber: scheiß drauf! Das soll wohl ein "Proof-of-Concept" sein, da ist das komplett egal und Du kannst alle ignorieren, die ihr Beckmesser blank ziehen.

Muß ich das verstehen?

Ob Du das verstehen _mußt_ kommt auf Deinen Bildungsstand an. Da Du aber einen Netzanschluß hast, hättest Du alles nachschlagen können. Also liegt das Unverständnis wohl an meiner Ausdrucksweise. In etwas trockeneren [sic! ;-)] Worten: Deine Arbeit ist eine beispielhafte Ausführung Deiner Idee. "Beispielhaft" hier in seiner ursprünglichen Bedeutung "als reines Beipiel gedacht". Der Code soll lediglich die Programmlogik vedeutlichen und durch seine Funktion selbst, wie schlecht auch immer die sein mag, den Beweis erbringen, das die Theorie in praxi umsetzbar ist.
Wenn dann so ein Beckmesser, Erbsenzähler, Haar-in-der-Suppe-Finder kommt und Deinen Code durchkämmt, dann -- ignoriere ihn getrost. (Aber immer schauen, ob er nicht zufällig auf einen Design- oder gar Denkfehler im Konzept gestoßen ist!)

Achso, das beckmesser hatte ich nicht verstanden.
Genau das meinte ich auch, ist ein Grund hier, warum viele Leute keine Ideen platzieren, weil immer alles bis aufs Haar auseinandergenommen wird.

Ich finde die Idee des verteilten Crawlings nicht schlecht und habe sie im Kopf schon etwas weitergesponnen. Da das aber Deine Idee ist, gebührt Dir auch das Recht der Erstveröffentlichung. Nur ausüben mußt Du das natürlich selber. Schmeiß also die sensitiven Daten aus Deinem Code, kontrolliere alle Lizenzen ob die eine Veröffentlichung/Weitergabe erlauben (bei Perl meist gegeben), pack ein Päckchen und annonciere es bei Freshmeat.

Wenn Du das sofort machst, auch bitte hier, ist dann bequemer für mich ;-)

Naja, so toll (neu) ist die Idee nicht.
Ich poste das hier.

Gruß
Reiner