automatisches Auslesen von Webseiten erschweren.

[dedlfix]

Tach!

Ich hab irgendwann auch mal einen Blockeintrag mit 10 Maßnahmen gegen Curl gelesen. Ich suche schon die ganze Zeit verzweifelt die url :(.

Versteif dich mal nicht so auf Curl. Das Problem ist ein generelles. Man kann, wie schon gesagt, mit Curl haargenau dieselben Requests nachbilden, wie sie ein Browser sendet. Wenn du Requests ablehnst, die browseruntypisch sind, muss der Crawler/Bot-Entwickler daraufhin nur sein Produkt ein wenig anpassen. Es sind lediglich ein paar wenige Stufen im Wettrüsten bis zu Ende der einfachen Maßnahmen. Der nächste Schritt wäre dann das Request-Verhalten zu analysierten. Bots gehen üblicherweise gezielt vor. Wenn nur der Request nach der HTML-Ressource kommt, aber keine nach eingebundenen Ressourcen, besonders wenn das der erste Aufruf von dieser IP war, dann kann das ein Indiz zur Bot-Erkennung sein. Kann aber auch nach hinten losgehen und unschuldige Nutzer mit Cache-Nutzung treffen. Es ist auch schwierig, sowas automatisch zu erkenenn, weil du dann quasi eine Verhaltensanalyse programmieren musst. Es ist jedenfalls einfacher, auf Angreiferseite das Requestverhalten eines normalen Nutzer nachzubauen.

dedlfix.