nicht angemeldet
[...] und das macht man nicht mit der robots.txt sondern mit den metatags zur Indexierung.
Sagt wer?
Die Logik.
Mir ist kein namhafter Crawler bekannt, der die robots.txt-Files ignoriert.
Mir ist auch niemand bekannt, der in Buchläden geht und ganze Bücher liest, an und?
JürgenB
Der Martin