Charset für robots.txt

[MudGuard]

Hi,

hierüber hab ich nirgendwo eine einhellige Aussage gefunden. Ich denke, dass ist ok, wenn ich ein

print "Content-type: text/plain; charset=UTF-8\n\n";

ausgebe, bevor ich die robots.txt folgen lasse.

Das ist dann ok, wenn die robots.txt auch tatsächlich UTF-8-kodiert folgt.
Wenn die robots.txt in einer anderen Kodierung folgt, ist es natürlich nicht ok.

(Da andererseits - da man für Verzeichnisse/Dateinamen sowieso nur ASCII-Zeichen verwenden sollte - nur ASCII-Zeichen enthalten sein dürften, wäre jede andere Kodierung, die in den unteren 127 Zeichen ASCII-kompatibel ist, auch recht)

cu,
Andreas