Tach!
Richtig. Dazu muss man das Trennzeichen finden was nur klappt, wenn man die zum Trennzeichen gehörige Bytesequenz kennt.
Hab ich doch schon widerlegt, dass das nicht notwendig ist, wenn man die Dekodierung vorher vornimmt. Dann vergleicht man Zeichen mit Zeichen
Was man nur tun kann wenn man diese Zeichen im wahlfreien Zugriff hat, also im Hauptspeicher. Und wenn programmintern die Kodierung bekannt ist. D.h., daß dem Programm selbst bekannt sein muß ob es bytesemantisch oder zeichenorientiert vergleichen soll.
Wobei bei UTF-8-kodierten Zeichen das erste Byte eine Offsetangabe darstellt nämlich dafür wie lang das Zeichen ist, genauso viel Platz braucht es ja auch im Hauptspeicher. Die Kodierung selbst wird in der Symboltabelle vorgehalten, zumindest ist das in Perl so.
Näheres im Artikel. MfG