Soweit, so HTTP/1. HTTP/2 schließt die Verbindung aber danach nicht, sondern sagt sinngemäß,
HTTP/1.1 schließt die Verbindung serverseitig auch nicht wenn der Client ein Connection: Keep-Alive gesendet hat. Insofern bietet da HTTP/2 nichts Neues.
Doch, Server-Push erlaubt es dem Server nämlich auf eine Anfrage gleich mehrere Antworten zu schicken, nicht nur HTTP-Bodies, sondern ganze Anworten (Header und Bodies). Keep-Alive tut das nicht, das erlaubt nur die darunter liegende TCP-Verbindung wiederzuverwenden.