Björn Höhrmann: robots.txt - Unterverzeichnisse sperren

Beitrag lesen

ist es möglich in der robots.txt anzugeben, dass sämtliche Unterverzeichnisse eines Ordners nicht indiziert werden dürfen oder muss man die Unterverzeichnisse einzeln mittels Disallow auflisten?

Wenn du

Disallow: /f

angegeben hast, dürfen

/foo.html
  /foobar/
  /foobar/baz/
  ...

nicht indexiert werden, wo ist demnach dein Problem?