Hallo Jan,
das Form-Element kannst Du Dir sparen, es hat keine Funktion. Ohne Deine Funktion zu kennen, sieht es erst einmal richtig aus. Du kannst jedoch auch gleich das insert() an den Event-Handler setzen; also so:
<li onclick="insert('[u]', '[/u]');">unterstrichen</li>
Welche Fehlermeldung erhälst Du denn?
Mit freundlichem Gruß
Micha