Traffic von Text-Scraping Bots für LLM-Training

[Rolf B]

Hallo Felix,

tatsächlich finde ich in den Wowbagger-Logs auch Massen von Zugriffen, die teils scrapen und teils einfach sinnlos sind. Warum ruft man die gleiche Seite stundenlang im Sekundentakt ab?

Claudebot - ja, den meine ich auch gesehen zu haben. Da wir auf Wowbagger etliche Sites hosten, läppert sich da einiges zusammen.

Ob es hilft, das zu filtern? Wohl kaum, die Typen kommen dann einfach über andere Adressen oder modifizieren ihren UA-String.

Rolf