Guten Abend,
ist es möglich in der robots.txt anzugeben, dass sämtliche Unterverzeichnisse eines Ordners nicht indiziert werden dürfen oder muss man die Unterverzeichnisse einzeln mittels Disallow auflisten?
Nur zu Info: Ich weiss, dass die meisten Spider sich nicht an die Robots.Txt Angaben halten. Ein Versuch ist es aber wert.
Bye,
Steve