Warum kann Linux denn nicht so tun, als wäre mein USB-Stick eine stinknormale Festplatte?
Das kann es wohl. Einige dieser "Startmedienersteller" können das Linux von einer .iso-Datei auf den Stick übertragen und dabei "Platz für neue oder geänderte Daten" vorsehen. Dann kann man Programme (und eben die Sprachunterstützung) installieren. Änderungen bleiben dann auch erhalten.
bootet ab und zu mit horizontal gespiegeltem Display
KLingt spannend. Habe ich noch nie gesehen... (was nicht heisst, dass ich Dir das nicht glaube)
So. Also vom USB-Stick booten. Ich würde zunächst mal zu (X|L)Ubuntu raten.