nicht angemeldet
robots.txt richtig?
hallihallo!
sperr ich mit dieser robots.txt:
User-agent: *
Disallow: /
allow: /web/
allow: index.htm
allow: index.html
alles außer dem Ordner web und den dateien index.htm(l)?
bin mir zwar _fast_ sicher, dass es stimmt, hab aber angst, die hp ganz für robots zu sperren.
vielen dank
mfg thomas
-
hallihallo!
Tag!
User-agent: *
Disallow: /
allow: /web/
allow: index.htm
allow: index.htmlKennst Du http://selfhtml.teamone.de/diverses/robots.htm#speicherort_aufbau?
Zur Sicherheit solltest Du 'Allow' schreiben. in Perl wird Groß- und Kleinschreibung unterschieden - möglicherweise prüft das nicht jeder...
Ich verstehe das mal so, dass es für alle Dateien, mit Namen "index.htm" - egal in welchem Ordner - laufen soll? (Wenn nicht, dann schreib "/index.htm"). Ob das so läuft ist auch zweifelhaft...
bye
ich -
sperr ich mit dieser robots.txt:
User-agent: *
Disallow: /
allow: /web/
allow: index.htm
allow: index.htmlalles außer dem Ordner web und den dateien index.htm(l)?
Nein, Du sperrst alles, denn die Angaben werden eigentlich von oben nach unten abgearbeitet und der erste passende Eintrag gilt*. In Deinem Fall wäre das die Disallow-Zeile, weil / zweifelsohne auf alle URLs passt. Die nachfolgenden allow-Zeilen werden gar nicht mehr beachtet.
Sortiere die Zeilen entsprechend um.
Vielleicht interessiert Dich auch http://robotstxt.org.
Gruß,
soenk.e*: Es gibt Ausnahmen, Monopolist Google ist dem Hörensagen nach wohl Microsoft-mäßig eine davon.