Kommt drauf an...

[Raktenwissenschaftler]

und kann durchaus sehr groß sein.

Hm. Wenn ess sich um eine private Anwendung (keine zu veröffentlichende Software) handelt, die Datei durch einen technischen Prozess erzeugt wird und immer einen exakt gleichen Aufbau hat

Feld1|Feld2|Feld3|Feld4|Feld5
Feld1|Feld2|Feld3|Feld4|Feld5

also nicht etwa etwas wie

Feld1|Feld2|Feld3|Feld4|Feld5
Feld1|Feld2|"Feld3"|Feld4|Feld5
Feld1|Feld2 |Feld3|Feld4|Feld5
 Feld1|Feld2|Feld3|Feld4|Feld5

vorkommen kann, und Linux/BSD als OS fest steht, dann (und genau dann) würde ich die Performance messen, mit der PHP oder ein vorheriges sort -u datei (Linux) die doppelten Datensätze ausfiltert.

$sys = "sort -u '$csv_datei'";
$myCsvArray = explode("\n", `$sys` );

Ansonsten: das von Dir gezeigte array_unique() scheitert ebenso am roten Beispiel wie der Linux/Unix-Befehl sort...