robots.text - auch mit utf-8 möglich?

[Mr.Cool]

Hallo!

Ist es möglich, eine robots.txt in utf-8 zu kodieren?
ich hab das mal bei einer .htaccess datei probiert und danach hat sie nicht mehr funktioniert und so musst ich sie wieder in iso kodieren.

wie ist das bei robots.txt? die kann man ja net direkt testen also frag ich ma. ist da die kodierung egal? mein ganzes projekt ist utf-8 und deswegen würde ich die halt auch gern damit kodieren.

und wieso geht utf-8 eigentlich nicht mit .htaccess?

mfg

[Sven Rautenberg]

Moin!

Ist es möglich, eine robots.txt in utf-8 zu kodieren?

Selbstverständlich. Das Problem dabei ist nur, dass es in Textdateien keinen inneren Mechanismus gibt, die Codierung auch der Außenwelt mitzuteilen. Die einzige Methode, die bleibt, ist ein passender HTTP-Header. Zudem ist dei robots.txt sowieso nicht so wahnsinnig ausführlich spezifiziert, so dass der Punkt "Encoding" vermutlich offen blieb.

Andererseits enthält eine robots.txt sowieso nur User-Agents und URLs, und ansonsten nur Keywords in englischer Sprache, so dass es sowieso keinen Unterschied macht, ob "nur" ASCII oder UTF-8 benutzt wird, weil sowieso keine Zeichen mit Unicode-Codepoints größer als 127 auftreten.

ich hab das mal bei einer .htaccess datei probiert und danach hat sie nicht mehr funktioniert und so musst ich sie wieder in iso kodieren.

Dasselbe kann man auch für .htaccess sagen. Problematischer hierbei ist, dass beim Lesen dieser Datei kein HTTP verwendet wird, der Apache-Webserver also auch kein Encoding wahrnehmen kann.

Welches Problem du in die Datei eingebaut hast, verrät dir dein Error-Log.

- Sven Rautenberg

[MudGuard]

Hi,

Andererseits enthält eine robots.txt sowieso nur User-Agents und URLs, und ansonsten nur Keywords in englischer Sprache, so dass es sowieso keinen Unterschied macht, ob "nur" ASCII oder UTF-8 benutzt wird, weil sowieso keine Zeichen mit Unicode-Codepoints größer als 127 auftreten.

es sei denn, man verwendet eine BOM.

cu,
Andreas