Daten von einer Passwort-geschützten Seite herunterladen

[Raketenwilli]

wget meldete zunächst, dass das Zertifikat abgelaufen wäre, obwohl der Browser es offenbar akzeptiert. Mit der Option "--no-check-certificate" konnte ich das ignorieren.

Das ist SEHR merkwürdig. Stimmte denn der Hostname? Etwas wie „www“ vergessen?

Aber wget wird offenbar abgefangen, denn ich erhalte "405 Method not allowed".

Naja. Ich mach ja auch sowas (und noch krasseres) wenn mir Requests nicht gefallen. Das können hier „malformed“ Daten sein, Daten welche nicht zusammenpassen oder, ganz einfach, der von cUrl oder wget gesendete USER-AGENT. Auch den kann man manipulieren.

Wie schon geschrieben: Du musst hier offenbar Reengineering betreiben und alle header und Daten analysieren, die rein- und rausgehen. In der Regel schaffen das die Entwicklungstools.

Falls da aber auch noch Javascript mitmischt - in dem es mittels sorgfälig minifizierter und verdunkelter Skripte aus irgendwelchen Daten (z.B. AUCH aus dem Datum) irgendwelche Hashs baut - kann das „spaßig“ werden.

Irgendwann kommt man an eine Grenze an welcher $andererAnbieter mit seinem $hoeherenPreis im Hinblick auf $PreisDesGefummels der Günstigere ist.

Zudem könnte es ja auch sein, dass der derzeitige Anbieter der Daten genau dann, wenn Dein Programm läuft, etwas umbaut und Du von vorn anfangen musst. Dieses Risiko ist nicht kalkulierbar.

Wähle lieber einen Lieferant, der Dir Zusicherungen gibt und vor allem (s)eine API offen legt.