Ja, Du hast einen Denkfehler. Die Koordinate bezieht sich auf die linke/obere Ecke des Bilds, während der Mittelpunkt weiter rechts/unten liegt. Deine Formeln müßten korriert folgendermaßen lauten:
nx = (ax + (ab / 2)) / ab * nb - (nb / 2) und
ny = (ay + (ah / 2)) / ah * nh - (nh / 2)
Gruß, LX