nicht angemeldet
Hallo,
User-agent: *
Disallow: /verz1/
Disallow: /verz2/
Disallow: /verz3/
...Das Problem ist, daß die Verzeichnisse /verz1/, /verz2/, ... noch weitere ebenen haben, die alle gesperrt sein sollen.
Reicht dafür der o.g. eintrag?
oder muß ich für z.b. /verz1/sub1/ eine eigene Regel erstellen?
Nein, eine weitere Regel braucht es nicht. Jeder URL, der z.B. /verz1/ beginnt, wird ausgeschlossen, also auch /verz1/sub1/*.
Welche Spider sich daran halten, ist natürlich fraglich. Wenn du Verzeichnisse hast, auf die gar kein Link aus anderen Dateien besteht, dann würde ich sie ganz aus der robots.txt raushalten, denn wenn du sie dort erwähnst, gibst du unnötig Informationen (Verzeichnisnamen) preis, die sonst niemand kennen kann.
Gruß, Don P