Moin,
Natürlich hat sich ein Robot gefälligst an die Angaben in der robots.txt zu
halten.
Ich meinte, dass es nicht unbedingt eine Unfreundlichkeit darstellt, wenn der
Besuch meiner Seiten durch einen Robot nicht erkennbar ist.
Ah schon gut, ich hatte nicht direkt auf dein Zitat geachtet, weil ich ja ohnehin wusste was ich geschrieben habe und wie es gemeint war. Offenbar hatte ich letzteres aber nicht so erfolgreich ausdrückt.
Gemeint war ungefähr: Wenn der Robot nett ist, dann ruft er die robots.txt ab. Wenn er nicht nett ist (d.h.: die robots.txt nicht abruft) und auch sonst von dir nicht erkannt werden will, dann hast du keine Chance.
--
Henryk Plötz
Grüße aus Berlin
~~~~~~~~ Un-CDs, nein danke! http://www.heise.de/ct/cd-register/ ~~~~~~~~
~~ Help Microsoft fight software piracy: Give Linux to a friend today! ~~
Henryk Plötz
Grüße aus Berlin
~~~~~~~~ Un-CDs, nein danke! http://www.heise.de/ct/cd-register/ ~~~~~~~~
~~ Help Microsoft fight software piracy: Give Linux to a friend today! ~~