csv Datei von Duplikaten befreien / Neue Frage

[Pit]

Gibt es da eine intelligente und performamnte Lösung, ohne alle Datensätze iterieren zu müssen oder falls nicht, wie stellt man sowas dann trotzdem möglichst effizient an?

Vor allem, es würde auch ausreichen, das Ganze per mysql zu machen, da ich die erzeugte Datei in mysql importiere.

Das heißt also, wenn ich eine Query hätte, die anhand zweier Spalten feststellt, dass der Eintrag (in für mich relevanten Spalten) gleich ist und beide entfernt, wäre mir auch gedient.

Pit