nicht angemeldet
Hi Themm,
Robots.txt-Parser für cURL-PHP-Bot
sieh dir doch mal den Code von bereits bestehenden PHP-Scripten, wie zB Sphider an. Bestimmt kann man aus der ein oder anderen Funktion etwas lernen (und/oder es einmal besser machen).
Man weiss ja auch noch gar nicht, welchem Zweck dein "Ungetier" später dienen soll.
Viel Erfolg,
Jonny 5
Der Martin