Traffic von Text-Scraping Bots für LLM-Training
bearbeitet von
Hallo Felix,
tatsächlich finde ich in den Wowbagger-Logs auch Massen von Zugriffen, die teils scrapen und teils einfach sinnlos sind. Warum ruft man die gleiche Seite stundenlang im Sekundentakt ab?
Ob es hilft, das zu filtern? Wohl kaum, die Typen kommen dann einfach über andere Adressen oder modifizieren ihren UA-String.
_Rolf_
--
sumpsi - posui - obstruxi