robot.txt obligatorisch?

[Christoph Schnauß]

hi,

Ich hab grad ein paar Logfiles ausgewertet und daraus gesehen das anscheinend ein paar Robots meine robot.txt einsehen wollten.

Schlecht gesehen. Denn in der Zeile, in der steht, daß diese Kumpels unbedingt deine robots.txt lesen wollten, steht auch ein Statuscode. Das sollte 403 sein.

Da ich allerdings keine habe (habe auch keine Seiten die ich evtl. sperren will etc.), frage ich mich nun ob sich dadurch nachteile bei der Indizierung ergeben könnten ...

Schön. Und was antwortest du dir darauf?

Also ist eine Robot.txt obligatorisch

Nein. Eine Datei mit diesem Namen ist vollkommen uninteressant.

bzw. von Vorteil?

Ja. Allerdings sollte sie den Bösewichten zu Gefallen wirklich "robots.txt" heißen  -  lies nochmal http://de.selfhtml.org/diverses/robots.htm nach, auch wenn du das selbstverständlich schon beinahe auswendig kennst.

Grüße aus Berlin

Christoph S.