XMLHttpRequest, der Scraping Bots draußen hält bearbeitet von Mitleser 2.0 23.05.2023 19:05 > > Wie funktioniert die Authentifizierung des Clients (daher durch den Browser) auf https://www.eex.com/de/marktdaten/strom/futures, damit er Daten per Klick nachladen darf?> Dazu müsste man im Detail vergleichen, wie sich die Request Header von Browser und XMLHttpRequest unterscheiden. > > Vermutlich kommt es auf etwas an, das im XMLHttpRequest **nicht** dabei ist.Oder auch zu viel oder falsch... wie auch immer...Wenn ich beispielsweise den "Request für die Woche": "https://queryeex.gvsi.com/ExactSymbolSearch/json?symbol=%2FE.ATB_WEEK" einfach in einem neuem Tab öffne, macht es bei mir auch *Meep*. Z.B. im Chrome kannst Du Dir im Netzwerkpanel beim dem Klick aber noch mehr holen: beispielsweise einen Kommandozeilenaufruf via "CURL", denn Du dann in einer Shell absetzen kannst. Sämtliche Request-Daten werden dann 1:1 wie ivom Browser-Klick initiert zum Server geschickt.Gerade ausprobiert. Ergebnis: dieselbe Response wie via Klick im Browser. Security by obscurity. Oder "diebstahl.gif" 2.0 ;-)
XMLHttpRequest, der Scraping Bots draußen hält bearbeitet von Mitleser 2.0 23.05.2023 19:10 > > Wie funktioniert die Authentifizierung des Clients (daher durch den Browser) auf https://www.eex.com/de/marktdaten/strom/futures, damit er Daten per Klick nachladen darf?> Dazu müsste man im Detail vergleichen, wie sich die Request Header von Browser und XMLHttpRequest unterscheiden. > > Vermutlich kommt es auf etwas an, das im XMLHttpRequest **nicht** dabei ist.Oder auch zu viel oder falsch... wie auch immer...Wenn ich beispielsweise den "Request für die Woche": "https://queryeex.gvsi.com/ExactSymbolSearch/json?symbol=%2FE.ATB_WEEK" einfach in einem neuem Tab öffne, macht es bei mir auch *Meep*. Z.B. im Chrome kannst Du Dir im Netzwerkpanel beim dem Klick aber noch mehr holen: beispielsweise einen Kommandozeilenaufruf via "CURL", denn Du dann in einer Shell absetzen kannst. Sämtliche Request-Daten werden dann 1:1 wie im Browser zum Server geschickt.Gerade ausprobiert. Ergebnis: dieselbe Response wie via Klick im Browser. Security by obscurity. Oder "diebstahl.gif" 2.0 ;-)
XMLHttpRequest, der Scraping Bots draußen hält bearbeitet von Mitleser 2.0 23.05.2023 19:08 > > Wie funktioniert die Authentifizierung des Clients (daher durch den Browser) auf https://www.eex.com/de/marktdaten/strom/futures, damit er Daten per Klick nachladen darf?> Dazu müsste man im Detail vergleichen, wie sich die Request Header von Browser und XMLHttpRequest unterscheiden. > > Vermutlich kommt es auf etwas an, das im XMLHttpRequest **nicht** dabei ist.Oder auch zu viel oder falsch... wie auch immer...Wenn ich beispielsweise den "Request für die Woche": "https://queryeex.gvsi.com/ExactSymbolSearch/json?symbol=%2FE.ATB_WEEK" einfach in einem neuem Tab öffne, macht es bei mir auch *Meep*. Z.B. im Chrome kannst Du Dir im Netzwerkpanel beim dem Klick aber noch mehr holen: beispielsweise einen Kommandozeilenaufruf via "CURL", denn Du dann in einer Shell absetzen kannst.Gerade ausprobiert. Ergebnis: dieselbe Response wie via Klick im Browser. Security by obscurity. Oder "diebstahl.gif" 2.0 ;-)
XMLHttpRequest, der Scraping Bots draußen hält bearbeitet von Mitleser 2.0 23.05.2023 19:07 > Dazu müsste man im Detail vergleichen, wie sich die Request Header von Browser und XMLHttpRequest unterscheiden. > > Vermutlich kommt es auf etwas an, das im XMLHttpRequest **nicht** dabei ist. Oder auch zu viel oder falsch... wie auch immer... Wenn ich beispielsweise den "Request für die Woche": "https://queryeex.gvsi.com/ExactSymbolSearch/json?symbol=%2FE.ATB_WEEK" einfach in einem neuem Tab öffne, macht es bei mir auch *Meep*. Z.B. im Chrome kannst Du Dir im Netzwerkpanel beim dem Klick aber noch mehr holen: beispielsweise einen Kommandozeilenaufruf via "CURL", denn Du dann in einer Shell absetzen kannst. Gerade ausprobiert. Ergebnis: dieselbe Response. Security by obscurity. Oder "diebstahl.gif" 2.0 ;-)
nicht angemeldet
