du willst sicherlich erreichen, was hie rbeschrieben ist: http://selfhtml.teamone.de/html/formulare/definieren.htm#zielfenster
ich würde an deiner stelle das onsubmit wegmachen, stattdessen einen button zum absenden des forms anbringen, der selbst eine funktion aufruft, die selbst
1. das popup öffnet (jetzt ist das target bekannt)
2. dann erst mit document.forms[0].submit(); das formular wirklich absendet.
da ich damit so noch nie gearbeitet habe, ist das nur so ein gedanke von mir. kann auch hinfällig sein...
trotzdem wünsch ich dir, dass es so klappt ;-)
gruß hein