Sven Rautenberg: web.archive.org - robots.txt blockiert Zugriff, warum?

Beitrag lesen

Moin!

Und was für einen User-Agent nutzt web.archive.org? Ich mein, wenn der da rumzickt?!

Mal schlau überlegen: web.archive.org nennt sich auch "Internet Archive Wayback Machine"

Und wie könnte man dann den Archivier-Spider des "Internet Archive" wohl nennen? Na, kommst du selbst drauf?

- Sven Rautenberg

--
"Bei einer Geschichte gibt es immer vier Seiten: Deine Seite, ihre Seite, die Wahrheit und das, was wirklich passiert ist." (Rousseau)