nicht angemeldet
Hi,
ich danke, dass dir http://www.delorie.com/gnu/docs/wget/wget_41.html weiterhelfen wird.
wget beachtet, was in robots.txt steht. wie man das verhindert, steht ebenfalls im verlinkten dokument. verwende auch je nach groesse der website auch den parameter "--wait", um den server nicht zu sehr zu belasten.
Danke für den Link. Ich habe jetzt --execute=robots=off sowie --wait=10 hinzugefügt, bekomme aber immer noch 403. Auch wenn ich das robots=off in Anführungszeichen setze, klappt es nicht :-(
Was mache ich falsch?
TIA
Margin-Auto