Hallo Kalle,
gib dem rm Kommando den Parameter -f mit, dann wird nicht mehr gefragt, sondern gnadenlos gelöscht.
Die anderen Alternativen wie Löschen des Ordners oder find und xargs wären wie gesagt die andere Lösung. Wenn tatsächlich der gesamte Ordner gelöscht werden kann, würd ich Dir empfehlen den Ordner mittels rm -rf zu löschen, was deutlich schneller gehen sollte.
Gruß,
the-FoX