cgi-Datenfluß

[hotti]

hi again,

Mit Perl können sehr große Datenmengen über den RAM abgewickelt werden, ich habe Scripts entwickelt, die lesen 300 MB XML-Dateien locker auf eine einzige Datenstruktur (Hashreferenz). Dieselbe Menge aus einer Binärdatei geht natürlich viel schneller, weil nicht geparst werden muss.

Beispiel:
Nutzdaten 50 MB
in XML verpackt als Datei: 300 MB, mit Perl in 50s geparst und auf einen Hash gelesen.

in einer Binärdatei gespeichert: je nach Struktur ca 70 MB. Das ist 50..100mal schneller auf einen Hash gelesen, in 1..2 Sekunden.

Alternative zu einer CSV-Datei: Recordfile

Hotti