Michael Schröpl: Ist hier eigentlich ein Paket Filter installiert?

Beitrag lesen

Hi Andreas,

  1. Wenn das Archiv in der Geschwindigkeit so
    weiterwächst, dann hast Du in 1 Jahr über 250 MB
    zu durchsuchen... wenn man optimistisch ist!

nichts spricht dagegen, das Archiv in kleinere Teile
als Jahres-Abschnitte zu zerlegen. Das geht ohne
Änderung der bestehenden Software in wenigen Minuten,
durch eine Änderung in einer Konfigurationsdatei.
Bisher scheint das niemand für notwendig angesehen zu
haben - ich vermute, weil es das Forum ist, das "weh
tut", nicht die Suche.

  1. habe ich sehr oft Zeiten von über 4 Sekunden da
    stehem

Für die jetzige Größe einer Jahres-Archivdatei war die
Indexstruktur auch nicht gedacht.
Mach Quartalsdateien daraus, und Du bekommst deutlich
schnellere Antwortzeiten, weil nur die wenigsten Such-
vorgänge das gesamte Archiv durchsuchen müssen.

  1. hast Du die guten Zeiten nur weil andauernd dei
    Sperre greift, wenn dem nicht so wäre will ich nicht
    wissen wie es dem Server ergehen würde!

Wir reden von verschiedenen Sperren. Ich meine nicht
das "Aussperren" von Benutzern von der Suche, sondern
die Forums-Software, die während der Einfügung eines
neuen Postings Dutzende (!) von Forums-Dateien sperren
muß, weil all diese Dateien konsistent geändert werden
müssen. Dadurch ist die Wahrscheinlichkeit, daß zwei
Postings einander gegenseitig behindern, ziemlich hoch.

Aber durch das Behindern wird Performance gespart,
bzw. verteilt, die einen Teil des Performance-
Gewinns "aufgefressen" wird!

Keineswegs. Durch das Behindern wird Performance nutz-
los verbraten, weil Sperren gesetzt und abgefragt wer-
den müssen, die bei einer besseren Architektur gar
nicht notwendig sind!
Du wirst mir doch nicht erzählen wollen, daß der Server
dadurch _entlastet_ wird, daß ein Teilnehmer sein
Posting so oft absenden muß, bis es endlich mit nichts
mehr kollidiert, statt dies nur ein einziges mal tun zu
müssen?

Bevor ich Christian dafür einsetzen wollen würde,
eine neue Maschine "zuzureiten"
ich dachte bei Linux wäre das nicht _soooo_ der
Akt?! Die conf-Files kann man sich ja kopieren!

Aber die Einrichtung dutzender von Benutzerkennungen,
die Installation der gesamten Software (FTP-Server,
Squid, Perl, Forum, ...), das kann Tage oder Wochen
kosten. Zeit, die sinnvoller in die Entwicklung des
neuen Forums gesteckt wird.
Lies http://aktuell.de.selfhtml.org/artikel/server/self/software.htm,
um zu sehen, was alles funktionieren muß, damit der
Server seinen jetzigen Funktionsumfang bekommt.

Wie ist das denn eigentlich bei einem Cluster, wird
das ganze Verteilen da nicht von der Software
übernommen, und der Admin hat am Ende doch nur einen
"virtuellen" Server?

Dazu muß es diese "clusterfähige" Software aber erst
einmal geben. Die muß so geschrieben sein, daß sie
in viele einzelne Prozesse zerlegbar ist, welche in
einer Art und Weise miteinander kommunizieren bzw. auf
gemeinsame Daten zugerifen können, die performant ist,
aber gleichzeitig die Konsistenz der Daten nicht zer-
stört. Und daß Synchronisation wiederum Ressourcen
frißt, sollte Dir klar sein.
Wenn Forum-Software auf zwei CPUs parallel läuft und
beide gleichzeitig ein Posting erzeugen wollen, wer
regelt dann, in welcher Reihenfolge die XML-Strukturen
von diesen Postings verändert werden dürfen?
Eine mehrprozessor-fähige Software zu schreiben ist ein
erheblicher Zusatzaufwand. Mach Dir den Unterschied
zwischen ASCII-Dateien und einer Oracle-Datenbank be-
wußt, dann hast Du die ungefähre Größenordnung davon.

Vielleicht, wißt Ihr denn schon so ganz grob in
welchem Rahmen sich die Einsparungen bewegen
könnten?

Das sollte besser Christian beantworten. Ich habe nur
ganz ungefähr in Erinnerung, daß das Analysieren der
XML-Strukturen einen nennenswerten Prozentanteil der
gesamten Verarbeitungszeit kostet. Und das wird nicht
etwa schneller werden, sondern komplett _wegfallen_.
(Die Strukturen werden dann nur noch ein einziges Mal
geparst, nämlich wenn der Forum-Daemon gestartet wird

  • ansonsten hält dieser die Daten im Hauptspeicher.)

Wenn man doch jetz ohen besonders viel Zeit zu
investioeren die Hardware verbessern könnte, was
Sprache dagegen?

Mir erscheint das Preis/Leistungs-Verhältnis bei der
Aktivierung neuer Hardware ungünstiger als bei der
Verbesserung der bestehenden Software.
Von beiden Haupt-Anwendungen ist bekannt, daß durch
eine Änderung der Architektur erhebliche Faktoren
eingespart werden können. Ohne diese Änderungen wird
es auf die Dauer nicht gehen - ohne bessere Hardware
aber vielleicht schon. Deshalb befürworte ich, zuerst
die wichtige und unvermeidliche Änderung, die keine
Anschaffungskosten mit sich bringt, zu absolvieren,
und danach zu prüfen, ob die Aufrüstung der Hardware
dann überhaupt noch etwas bringt.
Ich bin nicht entscheidungsbefugt für die Weiterent-
wicklung des Self-Portals. Ich sage nur meine Meinung.
Und Christian Kruse ist dabei die "knappe Ressource".

Alleine die Tatsache das keine Zeit mehr fürs
Aufregen über igenorante Beschwerde-Mails/Postings
aufgebracht werden müßte...

Das Aufregen bindet keine kostbaren Ressourcen. ;-)

Das glaube ich nicht. Für 1 Mio EUR stelle ich Dir
einen Cluster mit 1000 Rechnern wie von mir
beschreiben da hin

Auf dem nichts von der derzeit existierenden Software
schneller läuft. Wie oft soll ich Dir das noch erklären?

Das, was Christian gekauft hat, _ist_ schon gut.
Ja? 1,2 GHz, 1GB RAM? Sicher, alles Top-Komponenten
mit sehr hoher Ausfallsicherheit, aber überleg Dir
mal die Anforderungem!

Das tue ich. Und was diese Anforderung nicht erfüllt,
das ist die Architektur der Software - nicht die Hard-
ware.
Du siehst doch, daß das Self-Portal bei den readonly-
Seiten mühelos mit der bestehenden Hardware auskommt.

Ich weiß, die Zahlen sind nicht alles, zum einen
gibt es für eine vergleiocubare Architektur
inzwischen soweit ich weiß einen schnelleren FSB,
mehr als doppelt soviel CPU-MHz und 8 mal soviel
RAM!

Der mehr RAM nützt nichts, sofern die Software ihn
nicht ausnutzt. Den Faktor 2 bei der CPU habe ich
berücksichtigt - die Software-Änderung wird ein Viel-
faches davon bewirken. Also ist letztere wichtiger.

Wenn ich mal so fragen darf - warum installiert Ihr
dann keines?

Die Entscheidung für das Betriebssystem hängt noch von
anderen Faktoren ab als nur der Unterstützung von zwei
CPUs. Christian hat sich für BSD entschieden, und er
wird seine Gründe dafür haben.

Ich weiß jetzt nicht ob der RAM evtl. einen Engpaß
darstellt, aber dei CPU scheint dies ja zu sein.

Genaue Zahlen hat nur Christian, aber ich sehe das
ähnlich.

Da ich versteh das Ihr das System nicht neu mit
RedHat oder ähnlichem aufsetzen wollt, könnte man
ja eine schnellere CPU besorgen, die 50% schneller
ist, das wäre doch eine 50%ige Performance-
Steigerung, und ist nicht wirklich zeitaufwändig,
oder?

Wie lange darf das Portal für den Umbau ausfallen?
Tage? Wochen?
Bedenke, daß der Rechner in München steht und Christian
einige hundert Kilometer entfernt davon wohnt. Das ist
alles nicht so einfach, wie Du Dir das vorstellst.

Warum nehmt Ihr das "Gechenk" nicht einfach an?

Ich möchte Dich nicht enttäuschen. Und ich möchte auch
nicht, daß Du mit dem Geschenk Erwartungen verbindest,
die dann nicht erfüllt werden.
Ich bin aber weder befugt, das Geschenk anzunehmen,
noch es abzulehnen.

Mehr Hardware-Performance ist doch nie verkehrt.

Wenn ihr Einsatz kostbarere Ressourcen bindet, schon.

Und die meisten Leute würden das gerne unterstützen,
da sie so wie ich (noch) nicht in der Lage sind Euch
Programmiertechnisch zu helfen.

Wie willst Du Christians Betriebs- und Sicherheits-
konzept auf einem anderen Betriebssystem umsetzen
helfen?

Viele Grüße
      Michael