Hallo Gunnar,
type="submit"ist Default für Buttons in Formularen. Wenn du keinen Submit-Button haben willst:<button type="button">. Mit Beschriftung! Das heißt: Icon und Beschriftung sind Teil des Buttons.
Ok, habe ich geändert und es funktioniert
<button type="button" class="erinnerung"><span class="fa fa-plus"></span> Erinnerung hinzufügen</button>
<div class="insert_erinnerung">
Meine jQuery Funktion habe ich angepasst
$(".erinnerung").click(function(){
	$(".insert_erinnerung").slideToggle();
	$("span").removeClass("fa fa-plus"); 
	$("span").addClass("fa fa-minus-square"); 
}); 
jetzt muss ich nur noch schaffe, dass wenn ich das wieder zuklicke, das Symbol geändert wird. Mit deinem Vorschlag toogleClass, komme ich irgendwie nicht weiter, hab dieses Beispiel gefunden