nicht angemeldet
Hallo Steel,
Das kommt drauf an... Hier im Forum z.b. Koennte ein Crawler auf die Idee kommen alle Links in einem Thread zu verfolgen und somit auch auf schon gescannte Threads stossen, wo Links drin sind die ihn wieder auf altbekanntes fuehren... Ich weiss nicht wie Yahoo seine Crawler programmiert hat, aber einige gehen bestimmten Links schon gar nicht mehr nach, weil sie sich sonst verlaufen wuerden und sogar Endlosschleifen ziehen...
Jeder Crawler wird irgendwo eine Liste aller bereits besuchten Seiten speichern. Problematisch wird es erst, wenn er auf irgendwelche kaputten Scripte trifft, die Endlosschleifen mit gleichen Seiten unter immer wieder unterschiedlichen URLs produzieren.
Schöne Grüße,
Johannes