nicht angemeldet
hi,
ist es sinnvoll eine robots.txt anzulegen, wenn man den Robotern nichts verbieten will?
Indexieren sie dann vielleicht sinnvoller?
nein.
du erlaubst explizit alles - wie viel er davon aufnehmen will, entscheidet aber immer noch der robot.
Was spricht darfür, was dagegen?
dafür: du hast nicht ständig einen 404er im errolog, nachdem ein robot deine seiten besucht hat.
dagegen: m.e. nichts.
gruss,
wahsaga