Hallo T-Rex,
ich hab da eine Datenmenge von 8000 Datensätze. Die lade ich einmal aus der Datenbank und unterziehe diesen verschiedene Tests. Präziser sind das diverse Berechnungen bei unterschiedlichen Gegebenheiten.
du verrätst uns im Augenblick nichts darüber, in welcher Umgebung, unter welchen Bedingungen deine Tests laufen. PHP unter einem Webserver, das durch einen Browser-Request angestoßen wird?
Erstmal worum es mir NICHT geht. Ich möchte nicht die memory limit erhöhen! Es geht hier auch nicht um die Lesegeschwindigkeit der Daten aus der Datenbank. Dass passiert wie gesagt einmal und die Geschwindigkeit ist okay. Es geht auch nicht darum große Datenmengen zu handeln. Die Datenmenge ist mit 8000 Datensätze (später vielleicht bis 20.000 Datensätze) relativ klein. Also ich meine, es geht hier nicht um die Auswertung eines Datawarehouse.
Aber es hört sich so an, als wäre ein herkömmliches PHP-Script hier wegen des Rechenzeit- und Speicherbedarfs nicht mehr das richtige Werkzeug. Wenn du bei PHP bleiben willst - okay, könnte funktionieren. Aber dann würde ich eher ein vom Webserver unabhängiges Script vorschlagen, das beispielsweise über einen cron-Job angestoßen wird. Das darf dann auch gern üppig Soeicher brauchen und eine halbe Stunde oder so laufen.
Vielleicht möchtest du für derart speicherintensive Tätigkeiten auch auf andere Lösungen ausweichen. Python wird gerade beim Handling großer Datenmengen hoch gelobt; C gibt dir größtmögliche Kontrolle über den Ressourcenverbrauch. YMMV.
Immer eine Handbreit Wasser unterm Kiel
Martin
Wenn ich den See seh, brauch ich kein Meer mehr.