robots.txt sinvoll?

[Melli]

Hallo,

ist es sinnvoll eine robots.txt anzulegen, wenn man den Robotern nichts verbieten will?

Indexieren sie dann vielleicht sinnvoller?

Was spricht darfür, was dagegen?

Wäre diese robots.txt sysntaktisch so richtig?
User-agent: *
Disallow:

mfg Melli

[wahsaga]

hi,

ist es sinnvoll eine robots.txt anzulegen, wenn man den Robotern nichts verbieten will?

Indexieren sie dann vielleicht sinnvoller?

nein.
du erlaubst explizit alles - wie viel er davon aufnehmen will, entscheidet aber immer noch der robot.

Was spricht darfür, was dagegen?

dafür: du hast nicht ständig einen 404er im errolog, nachdem ein robot deine seiten besucht hat.
dagegen: m.e. nichts.

gruss,
wahsaga

[wahsaga]

hi,

noch als ergänzung zu deiner frage

Wäre diese robots.txt sysntaktisch so richtig?
User-agent: *
Disallow:

halte ich für gefährlich.
laut http://www.robotstxt.org/wc/faq.html gilt:

The quick way to prevent robots visiting your site is put these two lines into the /robots.txt file on your server:
User-agent: *
Disallow: /

der unterschied zu deiner version ist minimal, und wer weiss, wie ein robot disallow ganz ohne nachfolgende angabe interpretieren will: alles oder nichts?

dann würde ich eher zu dem tendieren, was die seite ebenfalls empfiehlt:

If you don't care about robots and want to prevent the messages in your error logs, simply create an empty file called robots.txt in the root level of your server.

gruss,
wahsaga

[Melli]

hi wahsaga,

danke für die Infos.

mfg Melli