nicht angemeldet
Hallo,
ich habe vor, mir sowas ähnliches wie einen Crawler zu basteln. Er soll dann auf Websites gehen und als erstes, wenn vorhanden die robots.txt lesen, dann wie es drinnen steht, die Verzeichnisse auslesen und wenn keine da ist alle verzeichnisse auslesen. Er soll dann Links weiterverfolgen, also nicht Ordner durchsuchen, sondern nur da, wo man auch wirklich hinkommt hingehen und das auf eine Wortgruppe untersuchen.
Eine Frage: ISt das mit PHP möglich und wenn, mit welchen Befehlen?
Danke schon jetzt
Stephan