Nabend.
also für mich hört sich das ganz noch einen Problem aus dem Compilerbau aus (anbei möchte ich erwähnen das ich diese Vorlesung gehasst habe). Also mit Latex kenne ich mich gar nicht aus. Allerdings wäre mein Ansatz beim Prüfen ob es sich um eine korrekte Formel handelt, das ich eine Kontextfreie Grammatik (http://de.wikipedia.org/wiki/Kontextfreie_Grammatik) erstelle, daraus mache einen Automaten (zB. http://de.wikipedia.org/wiki/Kellerautomat).
Das ist zwar sehr theoretisch dafür kann man einen solchen Automaten recht gut in einer Programmiersprache umsetzten. Die ersten Schritte einer konkreten Umsetzung kann ich dir nicht nennen da, ich Latex nicht benutze und desweitren macht es leider einiges an Arbeit.
Gruß
Markus