Unicode: Erkennen der Kodierung anhand des BOMs

[Tim Tepaße]

Hallo Andreas,

EFBB BFxx als erste Bytepaare eines UTF-16 Strings vorkommen dürfen.
Wenn ich das richtig sehe, muß bei UTF-16 immer ein ByteOrderMark FFEF bzw. FEFF am Anfang stehen, so daß das auch nicht der Fall sein kann.
Oder liege ich da falsch?

Ähm, ja, ein BOM ist nicht zwangsläufig am Anfang vorgesehen. Aber ja, sollte man mal überprüfen:

EFBB BFxx kann schonmal nicht eine zwei Zwei-Byte-Einheit in UTF-16 sein, da diese mit mit 0xD starten. Kann EFBB eine legale Zwei-Byte-Einheit in UTF-16 sein? Das wäre dann U+EFBB, das würde dann in die Private Use Area fallen, in der noch keine Zeichen zugewiesen sind:
http://www.unicode.org/charts/PDF/UE000.pdf

Es könnte natürlich noch in Zukunft so sein, aber ich denke, da wird hoffentlich jemand clever mitdenken, wie bei U+FFFE, das im Unicode-Standard niemals ein legales Zeichen sein wird.

Tim