nicht angemeldet
Ja, 1.)Indizes und 2.)mengenbasierte Logik.
Mengenbasierte Logik besteht hier im Bilden der so genannten Differenzmenge, die per Vergleich der Gesamtmenge und der per "SELECT DISTINCT" gebildeten Untermenge zu erreichen ist. Die Differenzmenge besteht aus den Dubletten.
Habe etwas Vergleichbares versucht, hat aber zu einer Speicherüberlastung geführt hatte:
<?php
Lass mal den PHP-Mist weg und schreibe Dir ein paar SQL-Statements (kleiner Tipp: eins reicht ;), die den Job erledigen und implementiere dann in PHP.