nicht angemeldet
Hi,
wie gesagt, das hat keine 10 Minuten gedauert. Ich arbeite da in Teilen schon mehrere Monate dran.
Ich nutze keine externe Maschine, das läuft wirklich autark!!!
Ist ein Crawler (Perl) der seine Ergebnisse in eine Datenbank speichert. Das vielleicht besondere (neben der Programmierung) ist ein Algorithmus, nachdem das Crawling funktioniert.
URLs rotieren in mehreren Tabellen und Ihre Links bekommen eine Erhöhung eines Zählers. Dadurch kann ich bei Bedarf die Suchtiefe gezielt steuern.
Gleiche Dateien werden sofort erkannt und in einer Aliastabelle gespeichert. Dies wird mit Prüfsummen mittels MD5 erzielt.
Wie gesagt, weiß ich im Moment noch gar nicht, was ich damit machen will. Für einen Service ist mein Rechner zu lahm (nur DSL), freigeben will ich das aus verschiedenen Gründen nicht so (zunächst). Der Hauptgrund ist, daß der Code noch etwas Kraut und Rüben ist (dennoch funktioniert es gut :-]).
Setz Dich doch mal oben auf die Liste (Link "Diskussions-Liste"). Man kann ja mal diskutieren.
Gruß
Reiner