Google - ROBOTS.TXT - Wildcards

[Herbert]

HI!

Bei der standardisierten ROBOTS.TXT ist es nicht erlaubt Wildcard einzusetzen

Google bietet dies jedoch an, leifert aber leider keine genaue Beschreibung mit

Hat jemand schon Erfahrungen gemacht ?

Kann ich z.B. alle Dateien *_menue.htm aussperren und alle *_text.htm (--> Framesprobleme) erlauben ?

[Alexander Foken]

Moin Moin !

Wenn Du die Dateien in Unterverzeichnisse legst und die in robots.txt sperrst, geht das. Sonst kannst Du nur alle Dateien einzeln aufführen.

Alexander

[Herbert]

Wenn Du die Dateien in Unterverzeichnisse legst und die in robots.txt sperrst, geht das. Sonst kannst Du nur alle Dateien einzeln aufführen.

laut google kann man neuerdings auch wildcards verwenden, abweichend vom Standard. Google spezifiziert aber leider nicht genau wie.

habe jetzt 2 stunden im  internet nach infos gesucht, aber nichts weiteres gefunden ausser:

User-Agent: *
Disallow: /
Allow: /*.html$

[Sönke Tesch]

laut google kann man neuerdings auch wildcards verwenden, abweichend vom Standard. Google spezifiziert aber leider nicht genau wie.

Wozu ist das so wichtig? Du kannst auch in die HTML-Dateien selbst eine robots-Anweisung einbauen (http://selfhtml.teamone.de/html/kopfdaten/meta.htm#robots). Falls das zu kompliziert weil zu viel ist, solltest Du über die Struktur Deines Angebots nachdenken.

Disallow: /
Allow: /*.html$

So wird das eh nix, da die Einträge von oben nach unten abgearbeitet werden und der _erste_ passende bestimmt, was passiert. Wenn Du in der ersten Zeile sofort "/" sperrst (sprich: "alles, was mit '/' anfängt" = "alles"), wird Deine komplette Webseite nicht indiziert.
Wenn überhaupt, müsste also die Allow-Zeile als erstes kommen. Nichtsdestotrotz hast Du dann immernoch das Problem, daß einige Suchmaschinen das nicht-so-ganz-standardisierte Allow möglicherweise nicht kennen und nur die "Disallow: /"-Zeile beachten - mit oben genanntem Ergebnis.

Gruß,
  soenk.e