robots.txt startseite offen, rest gesperrt
0 
Jonathan
0
robots.txt startseite offen, rest gesperrt
Moin,
ich möchte via robots.txt den zugang wie folgt beschränken:
User-agent: *
Disallow: /verz1/
Disallow: /verz2/
Disallow: /verz3/
...
Ziel soll es sein, daß die Startseite erlaubt ist, der Rest aber verboten.
Das Problem ist, daß die Verzeichnisse /verz1/, /verz2/, ... noch weitere ebenen haben, die alle gesperrt sein sollen.
Reicht dafür der o.g. eintrag?
oder muß ich für z.b. /verz1/sub1/ eine eigene Regel erstellen?
Danke im voraus
Jens
-
Hallo jhartlep,
Ziel soll es sein, daß die Startseite erlaubt ist, der Rest aber verboten.
Kannst du nicht einfach erstmal alles disallowen und dann nur die Startseite erlauben?
Jonathan
-
Hallo jhartlep,
Ziel soll es sein, daß die Startseite erlaubt ist, der Rest aber verboten.
Kannst du nicht einfach erstmal alles disallowen und dann nur die Startseite erlauben?
Jonathan
Naja, soweit ich es gelesen habe, gibt es keine Allow-Anweisung. Oder irre ich mich da...
-
Moin!
Naja, soweit ich es gelesen habe, gibt es keine Allow-Anweisung. Oder irre ich mich da...
Nein, das ist korrekt. Man hat zwar unlängst eine entsprechende Erweiterung angedacht, das wirkt aber logischerweise nur bei Spidern, die das auch umsetzen.
- Sven Rautenberg
--
"Love your nation - respect the others."
-
-
-
Hallo,
User-agent: *
Disallow: /verz1/
Disallow: /verz2/
Disallow: /verz3/
...Das Problem ist, daß die Verzeichnisse /verz1/, /verz2/, ... noch weitere ebenen haben, die alle gesperrt sein sollen.
Reicht dafür der o.g. eintrag?
oder muß ich für z.b. /verz1/sub1/ eine eigene Regel erstellen?Nein, eine weitere Regel braucht es nicht. Jeder URL, der z.B. /verz1/ beginnt, wird ausgeschlossen, also auch /verz1/sub1/*.
Welche Spider sich daran halten, ist natürlich fraglich. Wenn du Verzeichnisse hast, auf die gar kein Link aus anderen Dateien besteht, dann würde ich sie ganz aus der robots.txt raushalten, denn wenn du sie dort erwähnst, gibst du unnötig Informationen (Verzeichnisnamen) preis, die sonst niemand kennen kann.
Gruß, Don P