nicht angemeldet
hi,
noch als ergänzung zu deiner frage
Wäre diese robots.txt sysntaktisch so richtig?
User-agent: *
Disallow:
halte ich für gefährlich.
laut http://www.robotstxt.org/wc/faq.html gilt:
The quick way to prevent robots visiting your site is put these two lines into the /robots.txt file on your server:
User-agent: *
Disallow: /
der unterschied zu deiner version ist minimal, und wer weiss, wie ein robot disallow ganz ohne nachfolgende angabe interpretieren will: alles oder nichts?
dann würde ich eher zu dem tendieren, was die seite ebenfalls empfiehlt:
If you don't care about robots and want to prevent the messages in your error logs, simply create an empty file called robots.txt in the root level of your server.
gruss,
wahsaga