Rainer: robots.txt

Beitrag lesen

Hallo,

ich habe im Docroot einer Domain einige Ordner liegen die vor Bots schützen möchte.

/web1/ /Web2/ .... .... /web120/

Kann man das mit Platzhaltern vor dem Indexieren durch Bots ausschließen? Innerhalb der Ordner kann ich nichts ablegen was die Bots verbietet. Bsp.: Disallow: /web*/ Ist diese Schreibweise möglich oder muss ich mir da was anderes einfallen lassen?

Gruß Rainer