nicht angemeldet
Hi Reiner,
Besonders Probleme haben Redirects gemacht.
Ich habe dann aber eine Quelle im Netz gefunden,
die den entscheidenden Hinweis gab, solange eine
Schleife zu durchlaufen, bis kein Redirekt mehr
auftaucht.
Das kann aber leicht eine Endlosschleife werden.
(Ich glaube, Xenu bricht ab einer bestimmten Anzahl
aufeinanderfolgender Redirects ab.)
Ich habe auf allen möglichen Seiten Fehler gefunden!
Tja, die Welt ist nicht valide ... ;-)
Selbst auf bei großen Firmen wie Sie..ens, die ja
CMS benutzen, was schon Fehler eindämmen sollte.
Diese Aussage ist ein schöner Lacherfolg.
Läuft über MySql und benutzt ein paar "Tricks" bzgl.
Hashes und MD5 um das Ganze etwas zu beschleunigen
bzw, den Traffic zu minimieren.
Und? Schlägt es Xenu im direkten Vergleich?
Oder linklint? Oder ...
Mich würde interessieren, ob es interessant wäre,
daraus ein Projekt zu machen, das als Cluster
funktioniert (verteiltes Fehlersuchen).
Wäre sicherlich spannend - vor allem zu klären, wie
man Mehrfachprüfungen sinnvoll verhindert, ohne dafür
synchronisiertes Schreiben in einen gemeinsamen Daten-
bereich zu benötigen.
(Idee: Über jeden URL eine Art Quersumme berechnen und
mit dieser den Task adressieren, der diesen URL zu
prüfen hat ...)
Viele Grüße
<img src="http://www.schroepl.net/projekte/gzip_cnc/gzip_cnc.gif" border=0 alt=""> Michael