RewriteRule ^musterseite /musterseite.htm

^Pfad ggf. anpassen

OK, das hätt ich ja nu auch allein hingekriegt ...

Es soll nicht explizit "musterseite" sein, sondern übergreifend das, was vor jedem .htm steht:

muster.de/musterseite > muster.de/musterseite.htm
muster.de/hallo > muster.de/hallo.htm
muster.de/hallo/welt > muster.de/hallo/welt.htm
...