robots.txt richtig?

[Sönke Tesch]

sperr ich mit dieser robots.txt:

User-agent: *
Disallow: /
allow: /web/
allow: index.htm
allow: index.html

alles außer dem Ordner web und den dateien index.htm(l)?

Nein, Du sperrst alles, denn die Angaben werden eigentlich von oben nach unten abgearbeitet und der erste passende Eintrag gilt*. In Deinem Fall wäre das die Disallow-Zeile, weil / zweifelsohne auf alle URLs passt. Die nachfolgenden allow-Zeilen werden gar nicht mehr beachtet.

Sortiere die Zeilen entsprechend um.

Vielleicht interessiert Dich auch http://robotstxt.org.

Gruß,
  soenk.e

*: Es gibt Ausnahmen, Monopolist Google ist dem Hörensagen nach wohl Microsoft-mäßig eine davon.