Charset für robots.txt

[Der Martin]

Hallo,

hierüber hab ich nirgendwo eine einhellige Aussage gefunden. Ich denke, dass ist ok, wenn ich ein
   print "Content-type: text/plain; charset=UTF-8\n\n";
ausgebe, bevor ich die robots.txt folgen lasse. Seht Ihr das auch so?

ich denke, es ist nicht nur okay, sondern selbstverständlich, *jeder* per HTTP ausgelieferten Ressource einen Content-Type-Header voranzustellen.

Ciao,
 Martin