Das ist klar, denn das DIV-Element ist ja immer noch ein block-Element.
Das kannst du bspw. ändern, in dem du es ebenfalls floatest.
(Anmerkung: HB = Hintergrundbild)
Das habe ich gemacht. Im Firefox entsteht dadurch ein vertikaler Spalt ohne HB (offenbar in der Größe von HB 3) zwischen HB 1 und HG 3.