Kann man irgendwie einstellen, dass sich em nicht auf das Elternelemt bezieht?
Nein.
Also wenn ich eine Tabelle mit font-size:0.5em habe, wird die Schrift einer zelle, in der 0.2 em angegeben sind, viel kleiner als "normale" 0.2em.
Es wird Dir möglicherweise nicht viel helfen, aber eine Daumenregel besagt, daß ein Text nicht mehr als drei unterschiedliche Schriftgrößen haben sollte. Vielleicht solltest Du also einfach auf eine der beiden Größenänderungen verzichten.
Gruß,
soenk.e