Frage zu robots.txt

[Beat]

kann ich in robots.txt den Zugriff auf alle Subdirectories verbieten, ohne diese einzeln mit

Zugriff auf Subdirectories verbietet man mit .htaccess.

robots.txt ist, wie seine Entwicklung zeigt, ein unwillkommener Standard.
Alternativ gibts sitemaps.

Disallow: /dir1/
...
Disallow: /dir20/
angeben zu müssen?

Einige wichtige robots verstehen auch die Wildcards * und ?
sowie eine Allow Regel.
Erkundige dich bei diesen Robots.

mfg Beat