Bist Du sicher, dass es robots sind.
Möglicherweise kann es sein, dass man Deinen Content verwendet.
Ein Skript liest jedesmal den Content einer Fremdseite aus und stellt die Daten im eigenen Layout dar.
sehr interessanter aspekt, das habe ich noch gar nicht bedacht.daß es robots seien, hab ich daraus geschlossen, da diese in meiner log unter robots geführt sind.
hmm ist aber natürlich schwerig sich durch raw logs durchzukämpfen, um jetzt die übeltäter zu finden.meine log analyse gibt das nicht mehr her und leider wachsen meine raw logs auf 200 MB am tag an. kennst du vielleicht eine software, die solche mengen an daten verarbeiten kann und dennoch komfortable suchfunktionen besitzt?
gruß
stefan