Hallo Tobias,
Reguläre Ausdrücke sind für die Beschreibung rekursiver Strukturen nicht geeignet.
Bei so einfachen Ausdrücken könntest Du eine Parser, der Dir eine Baumstruktur für die Formel erstellt, von Hand schreiben.
Alternativ gibt es im CPAN etliche Module um Parser aus kontextfreien Grammatiken zu erzeugen. Das könntest Du Dir alternativ ansehen. Das Aufwand, ein geeignetes Modul zu finden und zu verstehen könnte allerdings in dem Fall größer sein.
Grüße
Daniel