Tool zu Simulation eines Crawlers

[cfrosch]

Hallo,

kennt jemand ein Tool, das einen Crawler simulieren kann, also z.B. ein Browser, dessen Browser-ID auf einen typischen Crawler-Eintrag gesetzt werden kann?

Grüße, cfrosch