Mathias Bigge: Spider auf Platz3, was soll ich tun?

Beitrag lesen

Hi Björn,

Wogegen wehren? Welches Problem habe ich übersehen?

Ich hatte auch schon mal ein Problem mit einem fehlprogrammierten Spider, der pro Besuch bis zu einem Gigabyte Traffic erzeugte. Das Ding ließ sich allerdings per robots.txt ausgrenzen, war also nicht bösartig, sondern dumm programmiert.

Viele Grüße
Mathias Bigge