/Sonstiges Logfile resourcensparend analysieren

[Roger]

hallo!

Ich habe hier ein Syslog-Logfile, welches ich mittels eines selbstgeschriebenen PHP-Scripts auswerte. Das Problem aber:
Das Logfile wächst ständig und wird alle 2 Wochen vom OS gerollt. Die Auswertung soll möglichst schnell gehen. Nach 1 1/2 Wochen ist das aber nicht der Fall, weil das Logfile ja ziemlich groß geworden ist.
Anbieten würde sich, das Logfile einfach täglich oder stündlich zu analysieren und die Auswertung zu schreiben. Das Problem dabei: woran erkennt man im 2.  Durchgang, wo man aufgehört hat, damit die Analyse nicht komplett von vorn anfängt? Zeile merken? Dann gibt es nach dem rollen ein Problem, wenn die Zeile nicht mehr da ist...

gruß.
roger.

[Reiner]

hallo!

Ich habe hier ein Syslog-Logfile, welches ich mittels eines selbstgeschriebenen PHP-Scripts auswerte. Das Problem aber:
Das Logfile wächst ständig und wird alle 2 Wochen vom OS gerollt. Die Auswertung soll möglichst schnell gehen. Nach 1 1/2 Wochen ist das aber nicht der Fall, weil das Logfile ja ziemlich groß geworden ist.
Anbieten würde sich, das Logfile einfach täglich oder stündlich zu analysieren und die Auswertung zu schreiben. Das Problem dabei: woran erkennt man im 2.  Durchgang, wo man aufgehört hat, damit die Analyse nicht komplett von vorn anfängt? Zeile merken? Dann gibt es nach dem rollen ein Problem, wenn die Zeile nicht mehr da ist...

ganz einfach:
mit stat bekommst Du Daten des Files, d.h. ist das File älter als der von Dir gemerkte Unix-Timestamp: ignorieren.
Ansonsten Zeilen durchlaufen, bis Du auf ein Datum triffst, das größer ist, als der höchste gemerkte Wert.

Gruß
Reiner