ich schätze mal, dass sie irgendwelche dateien extra für robots haben und dort ist das eingetragen.
ich wüsste nicht ob man darauf zugreifen kann.
Webwasher (oder einen anderen Proxy deiner Wahl) installieren, dort die Angabe "User-Agent" modifizieren (unter "Proxy-Engine" eintragen im Feld "Browser Identifizierung durch folgenden Eintrag ersetzen").
Versuchs mal mit den Angaben, mit denen die Suchmaschinen surfen (eine der nachfolgenden Zeilen):
Googlebot/2.1 (+http://www.googlebot.com/bot.html)
FAST-WebCrawler/3.3 (crawler@fast.no; http://fast.no/support.html)
ASPSeek/1.2.5
GNODSPIDER (www.gnod.net)
KIT-Fireball/2.0
Damit siehst du dann das, was der Spider der Suchmaschine auch sieht, falls der Server das vom User-Agent abhängig macht (was durchaus möglich ist).
- Sven Rautenberg