Dubletten löschen

[Struppi]

Es handelt sich dabei um ein cgi, welches doppelte Einträge aus einer Datenbank heraussuchen soll. Das Problem ist, es handelt sich dabei um 2,5 Millionen Datensätze und ich teile mir den Server mit vielen anderen. Wenn ich nun das Programm starte, wird eine riesige temporäre Mysql Tabelle angelegt, die fast den gesamten Server lahmlegt.

Das Script durchforstet die komplette Datenbank und ich möchte nun eine WHERE funktion einbauen, z.b. WHERE ID < 100000, damit immer nur ein Teil der Datenbank gechecked wird, weiss aber leider nicht, wo und wie ich die Abfrage einbauen muss. Kann mir da vielleicht jemand einen Tip geben ?

Du verwendest irgendwelche Module die kein Standard sind, insofern ist das schwierig. Aber ich vermute dein Problem eher auf der SQL Seite. Einmal kannst du mit mySQL checken was bei einer Abfrage abläuft, was sagt EXPLAIN zu deiner abfrage?

Und um doppelte Einträge zu ermitteln müßte es auch eine Möglichkeit bei deiner Abfrage geben. Geht nicht WHERE count > 1?

Struppi.