nicht angemeldet
Also nochmal: Wer will mir verbieten eine öffentliches Webangebot zu laden und Daten daraus zu extrahieren?
Das Urheberrecht! Natürlich kannst du die Seiten laden, die Inhalte darfst du jedoch nicht ohne weiteres verwerten.
Die robots.txt zu laden macht übrigens nur Sinn, wenn sie auch entsprechend ausgewertet wird. In dem angegebenen Fall ist es wohl besser, den HTTP-Request mit zusätzlichen Paramteren wie If-Modified-Since zu erweitern.
Der Martin