robots.txt

[Beat]

kann ich mit folgender Angabe in robots.txt den Zugriff der Bots auf
a l l e   meine Unterverzeichnisse verhindern?

Disallow: /*/

Nein
Robots.txt verhindert gar nichts, sondern empfiehlt im besten Falle

nimm .htaccess

Kann ich die Verhaltensweise der Bots selbst testen/feststellen?

Jeder Bot verhält sich bezüglich robots.txt anders.

mfg Beat