robots.txt

[thunderstorm]

Fragt sich nur was es bspw. für einen Sinn macht Verzeichnisse zu indexieren die Images, Datenbank(en), scripts oder ggf. administations Pages enthalten?

Möglicherweise macht eine solche Datei Sinn wie die folgende:

User-agent: *

Disallow: /db/
Disallow: /images/
Disallow: /scripts/
Disallow: /stylesheets/
Disallow: /search/

- - - - - Dateien - - - - -

Disallow: *_ado.asp
Disallow: *.txt