robots.txt

[Gast]

Hallo,
danke für die umfangreiche Erklärung.

<zitat>.... Die überwiegende Mehrheit der Robots moderner Suchmaschinen berücksichtigen das Vorhandensein einer robots.txt, lesen sie aus und befolgen die Anweisungen.</zitat>

Gut, und meine Ursprungsfrage bezieht sich auf diese Mehrheit der Robots.
Diese Frage war:
kann ich mit folgender Angabe in robots.txt den Zugriff der Bots auf
a l l e   meine Unterverzeichnisse verhindern?

Disallow: /*/

Also nicht "Kann ich     a l l e     Robots daran hindern", sondern ich wollte nicht für jedes Unterverzeichnis ein Disallow angeben.

Gefunden hatte ich nur, dass Wild-cards im Dateinamen zulässig sind, nicht aber ob auch in Verzeichnisnamen.
Gruß