nicht angemeldet
Mahlzeit!
Die tun am Ende vmtl. gar nichts schlimmes, es dürfte, wenn der Crawler halbwegs clever ist, nicht viel mehr sein, als ein Nutzer, der einmal alle deine Seiten aufruft.
Das kommt drauf an... Hier im Forum z.b. Koennte ein Crawler auf die Idee kommen alle Links in einem Thread zu verfolgen und somit auch auf schon gescannte Threads stossen, wo Links drin sind die ihn wieder auf altbekanntes fuehren... Ich weiss nicht wie Yahoo seine Crawler programmiert hat, aber einige gehen bestimmten Links schon gar nicht mehr nach, weil sie sich sonst verlaufen wuerden und sogar Endlosschleifen ziehen...