[Regex] wiederhollte sätze entfernen

[ghostt]

der text de suche autocomplete funktion wird täglich neu generiert.

ist es auch einfach zu lösen in dem ich einfach sage:

WENN mehr als 30% der worte die mind 4 buchstaben haben in einer zeile gleich sind,
 werden dann alle gleichen zeilen entfernt, so das nur noch 1 ne zeile übrig ist, welche nur 1 mal vorkommt.