Hell-O!
Ich habe ein Crawler in perl geschrieben der das LWP modul zum Crawler benutzt.
Ich mag jetzt nicht die Dokumentation für alle verwendeten Module lesen, es könnte aber sein, dass:
$robot->requests_redirectable([]);
das Problem ist. Kommentiere diese Zeile mal testweise aus. Ansonsten sehe ich nirgendwo, wie du den Request absetzt und die Antwort abfragst, das wäre allerdings noch interessant zu erfahren. Insbesondere die verwendete HTTP-Methode wäre wichtig zu wissen.
Siechfred