nicht angemeldet
Hallo,
ich sende bei meinem Script, das Seiten Craweln soll, folgenden HTTP Header mit:
fputs ($handle, "GET / HTTP/1.1 \n Host: $url\n Cache-Control: no-cache\n User-Agent: Mein Crawler/1.0\n"); // übergibt User-Agent
Dabei ist $url die aktuelle Datei, User Agent ist mein Crawler. Ist das richtig so?
Danke schon mal
Stephan
PS: Der User Agent soll wie zB der Googlebot in der Liste von Robotstats oder auch von Webalizer angezeigt werden, eben als Mein Crawler/1.0...