laut google kann man neuerdings auch wildcards verwenden, abweichend vom Standard. Google spezifiziert aber leider nicht genau wie.
Wozu ist das so wichtig? Du kannst auch in die HTML-Dateien selbst eine robots-Anweisung einbauen (http://selfhtml.teamone.de/html/kopfdaten/meta.htm#robots). Falls das zu kompliziert weil zu viel ist, solltest Du über die Struktur Deines Angebots nachdenken.
Disallow: /
Allow: /*.html$
So wird das eh nix, da die Einträge von oben nach unten abgearbeitet werden und der _erste_ passende bestimmt, was passiert. Wenn Du in der ersten Zeile sofort "/" sperrst (sprich: "alles, was mit '/' anfängt" = "alles"), wird Deine komplette Webseite nicht indiziert.
Wenn überhaupt, müsste also die Allow-Zeile als erstes kommen. Nichtsdestotrotz hast Du dann immernoch das Problem, daß einige Suchmaschinen das nicht-so-ganz-standardisierte Allow möglicherweise nicht kennen und nur die "Disallow: /"-Zeile beachten - mit oben genanntem Ergebnis.
Gruß,
soenk.e