Tach!
Auf der Seite steht zu Disallow:
Wildcards wie * oder . sind dabei nicht erlaubt.
Was genau bewirkt dann ein
disallow: *
Beachte bitte die beiden "Beachten Sie" am Anfang der Seite. Alle Angaben in dieser Datei bewirken jeweils das, was die Bot-Programmierer implementiert haben. Eine generelle Vorgabe gibt es nicht und wie die Bots drauf reagieren ist eine Einzelfallfrage.
dedlfix.