nicht angemeldet
Was ist denn bei Robots üblich bezüglich der Folgerequests?
Holt sich ein Robot sofort die ganze Seite nebst in dieser vermerkten Image-, Link- und weiteren Elementen, oder holt er diese erst später?
Kommt drauf an - feratel kommt z.B. vorbei, dann dauerts ein paar Minuten und irgend ein Crawler mit einem Java-User-Agent ruft alle links auf die er irgendwie finden kann.
Slurp (Yahoo) kommt sporadisch zwischendurch mal vorbei und sucht ein paar Seiten auf - folgerequests sind so nicht wirklich erkennbar.