Hallo RapFury,
Du musst 2 Sachen trennen: den JS-Teil und den HTML-Teil. Der JS-Teil ist nur onMouseOver und hat mit Frames erst mal nichts zu tun.
Der Button ist ja so aufgebaut:
<a href="..." onMouseOver="..."><img ...></a>
So - und das onMouseOver interessiert beim Verweisziel gar nicht. Es interessiert nur das href: Wenn Du in einen anderen Frame lenken willst, musst Du das genauso, wie bei allen anderen normalen Links auch machen: mit dem target-Attribut.
Mit der Fehlermeldung im IE kann ich nicht weiterhelfen, ohne dass Du hier einen Beispielcode angibst.
Grüße,
Christian