nicht angemeldet
Crawler bauen
Hallo,
also es wird bestimmt schwer. Ich möchte einen Crawler bauen. Er soll den Seiteninhalt, d.h. den Quelltext in die Datenbank übertragen und sich an Links weiterhangeln, eben wie ein Crawler.
Ich habe mal angefangen so etwas zu machen, doch ich bin nicht weiter als zur Weierhangel-Funktion gekommen, die auch nicht ging.
Wie kann man sowas machen?
Der Server und die Scriptlaufzeit sollten kein Problem machen, ich habe keine eingestellt (Lokal).
Warscheinlich fragt ihr euch, wiso ich das brauche. Ich habe eine Seite mir einer Menge nicht Datenbankbasierten Seiten. Allerdings habe ich eine Datenbankbasierte Suchfunktion, die mittlerweile veraltet ist.
Nun bevor ich alles wieder manuell eintrage, mache ich eine Crawler Funktion mit einem Index, dann lasse ich sie drüberlaufen.
Wäre toll, wenn ihr mir helfen könntet.
Liebe Grüße und Danke schon mal
Stephan
-
Hallo,
also es wird bestimmt schwer. Ich möchte einen Crawler bauen. Er soll den Seiteninhalt, d.h. den Quelltext in die Datenbank übertragen und sich an Links weiterhangeln, eben wie ein Crawler.
Ich habe mal angefangen so etwas zu machen, doch ich bin nicht weiter als zur Weierhangel-Funktion gekommen, die auch nicht ging.
Wie kann man sowas machen?
ja, klar!
Guck mal auf http://www.w3sitesearch.de.
Bzw. http://net.path.cx ist eine "Bastelversion" von mir.
Das ist in Perl (also der Crawler) realisiert, im Hintergrund werkelt MySQL.Wenn Du ein paar Details brauchst, melde Dich.
Gruß
Reiner-
Hallo,
kann ich das Script auch irgendwie lokal auf meinem Rechner ausführen? Mein Problem: Wenn ich immer über w3sitesearch suchen muss, verbraucht das in meinen "Probe" Homepages lokal sehr viel Traffic. Ich habe aber nur 1500MB/mon.
Der zweite Link: Da bekomme ich einen fehler 500 :-(
Danke schon mal
Stephan
-
-
Hallo, Stephan!
Ich habe mal angefangen so etwas zu machen, doch ich bin nicht weiter als zur Weierhangel-Funktion gekommen, die auch nicht ging.
dann zeig uns das mal (in *.phps umbenennen und hochladen).
freundl. Grüsse aus Berlin, Raik
--
die Schläge, die Du bereitwillig hinnimmst, werden Dir eine größere Hilfe im Leben sein, als die, die Du für ungerechtfertigt ablehnst; denn einestages wirst auch Du die Fürsorge und Hilfe darin erkennen.
(c)XaraX http://forum.de.selfhtml.org/archiv/2004/4/77523/#m447546