Charset für robots.txt

[Tom]

Hello,

hierüber hab ich nirgendwo eine einhellige Aussage gefunden. Ich denke, dass ist ok, wenn ich ein

print "Content-type: text/plain; charset=UTF-8\n\n";

ausgebe, bevor ich die robots.txt folgen lasse. Seht Ihr das auch so?

Kennt Dein Webserver den Content-Type für Text/Plain (Endung z.B. *.txt) nicht automatisch?
Hat der da noch keine Voreinstellung?

text/plain ist normalerweise die generelle Voreininstellung für Type

DefaultType text/plain

Und dazu wird das DefaultCharset verwendet

AddDefaultCharset UTF-8
     # AddDefaultCharset ISO-8859-1

je nachdem, wie man es braucht

Und die Zurodnung der Endungen zum MIME-Type macht das Mod-Mime.

text/html                          html htm
     text/parityfec
     text/plain                         txt text conf def list log in
     text/prs.fallenstein.rst
     text/prs.lines.tag                 dsc

(hier ein Ausschnitt aus der mime.conf (Datei kann ggf. auch anders heißen)

Es ist also mNm nur spannend, Deiner Robots eine separate Angabe mitzugeben, wenn Dein Server eine andere Grundeinstellung hat, als Du sie für einzelne Ressourcen tatsächlich benutzen willst.

Aber es war mal wieder eine schöne kleine Suchaufgabe zur Frühstückszeit :-)

Liebe Grüße aus dem schönen Oberharz

Tom vom Berg