Sönke Tesch: Google - ROBOTS.TXT - Wildcards

Beitrag lesen

laut google kann man neuerdings auch wildcards verwenden, abweichend vom Standard. Google spezifiziert aber leider nicht genau wie.

Wozu ist das so wichtig? Du kannst auch in die HTML-Dateien selbst eine robots-Anweisung einbauen (http://selfhtml.teamone.de/html/kopfdaten/meta.htm#robots). Falls das zu kompliziert weil zu viel ist, solltest Du über die Struktur Deines Angebots nachdenken.

Disallow: /
Allow: /*.html$

So wird das eh nix, da die Einträge von oben nach unten abgearbeitet werden und der _erste_ passende bestimmt, was passiert. Wenn Du in der ersten Zeile sofort "/" sperrst (sprich: "alles, was mit '/' anfängt" = "alles"), wird Deine komplette Webseite nicht indiziert.
Wenn überhaupt, müsste also die Allow-Zeile als erstes kommen. Nichtsdestotrotz hast Du dann immernoch das Problem, daß einige Suchmaschinen das nicht-so-ganz-standardisierte Allow möglicherweise nicht kennen und nur die "Disallow: /"-Zeile beachten - mit oben genanntem Ergebnis.

Gruß,
  soenk.e