Charset für robots.txt

[Der Martin]

Hallo Andreas,

(Da andererseits - da man für Verzeichnisse/Dateinamen sowieso nur ASCII-Zeichen verwenden sollte - nur ASCII-Zeichen enthalten sein dürften, wäre jede andere Kodierung, die in den unteren 127 Zeichen ASCII-kompatibel ist, auch recht)

ich stimme im Prinzip zu - ja, etwas Exotisches wie EBCDIC wäre in der Tat höchst unpraktisch. *g*
Nahezu jede andere ISO-Latin-sonstwas-Codierung ist jedoch bis 0x7F mit ASCII identisch, in dem Bereich sogar UTF-8.

Aber die robots.txt enthält ja nicht nur Verzeichnisnamen, sondern ggf. auch UA-Namen, um spezifische Verbote zu formulieren. Und der UA kann AFAIR auch Zeichen außerhalb des ASCII-Bereichs enthalten. Ob das empfehlenswert ist, wäre wieder eine andere Frage.

Schönen Sonntag noch,
 Martin