archive.today geht in manchen Browsern nicht mehr

[seth]

gudn tach!

schön, Dich mal wieder hier zu haben!

schoen, mal wieder hier zu sein und bekannte namen zu lesen! :-)

dagegen liefert wget --user-agent='Mozilla' https://archive.md/kmcli einen 200er http-statuscode

Auf den ersten Blick sieht das für mich danach aus, dass Du einen „passenden“ User-Agent-String angeben musst.

oh, pardon, das war ein copy-paste-relikt.

wget https://archive.today

geht einwandfrei (ohne manipulierten user-agent).

bei einer konkreten archivierten webpage, z.b. https://archive.md/kmcli muss ich dagegen den user-agent setzen, weil ich ansonsten einen http-status 429 (too many requests) zurueckbekomme. den status bekomme ich aber ohne verzoegerung zurueck.

das heisst: der user-agent hat mit dem genannten problem vermutlich nichts zu tun.

FF und Chrome tun das von sich aus und auch Dein WGet-Aufruf hat einen UA-String dabei. Bei Deinem cURL-Code und auch LWP-Beispiel sehe ich davon nichts.

curl --user-agent Mozilla https://archive.today/

liefert nach 1 minute wieder curl: (18) HTTP/2 stream 1 was not closed cleanly before end of the underlying stream.

gruss

seth