nicht angemeldet
Hallo Thomas,
ja ich denke das komplette einlesen ist weitaus schneller als jede Zeile.
Ich würde hingegen nur die neuen Zeilen einlesen und die alten irgendwo schon fertig bearbeitet ablegen. Man konnte dann meintewegen einmal am Tag die ganze Datei neu einlesen und den Rest des Tages nur die Veränderungen, oder wie auch immer die Sachen prüfen - da gibt es sicher viele Ansätze.
Dafür, wie man an die Neuerungen kommt, gibt es sicher diverse Lösungen, je nachdem wie sicher Du prüfen willst.
Eine einfache wäre sicher sich die Zeilenanzahl zu merken und dann von dort an immer weiterzuarbeiten und die Zeilenanzahl erhöhen. das Ablegen aller End-Werte dann entweder in einer dauernden Session, oder in einer zweiten datei. Denke das ist weitaus schneller als jedesmal 1.6Mio Zeilen einlesen.
Man könnte auch noch andere Mechanismen einbauen, die den Traffic für diesen Prozess minimieren, so z.B. das man zuerst schaut wieviele neuen Einträge, sind diese so Minimal(meinetwegen 10 oder 20), das keine grafische Änderung entsteht, wird das Script garnicht ausgeführt, dann allerdings auch nicht die Zeilenanzahl hochsetzen.
Ich denke so ist es am besten, denn C ist in deinem Fall wahrscheinlich nicht in dem Maße schneller wie Du Dir das vorstellst.
Michael R.