nicht angemeldet
Ist hier eigentlich ein Paket Filter installiert?
Hallo!
ich weiß jetzt nicht ob das wirklich was bringt bei den DoS Atacken, aber habe gerade folgendes in einer RedHat Mailingliste aufgeschnappt:
- Lasse keine Pakete heraus, die nicht Deine IP als Absender haben
(Würden das alle tun, gäbe es kaum ein Spoofing-Problem) - Lasse keine Pakete herein, die Deine IP als Absender haben
- Lasse keine Pakete herein, die vorgeben aus dem RFC1918 Bereich
(private IP-Adressen) zu stammen - Lasse keine Pakete heraus, die in den RFC1918 Bereich wollen
- Blocke nmap-Portscans (Nullscan, Xmas-Scan) anhand der TCP-Flags
- Blocke unmögliche Pakete, die z.B. SYN und FIN gleichzeitig gesetzt
haben (wie auch in der CERT-Meldung erwähnt) - Lasse keine Pakete herein, die aus den diversen reserved-IP Blöcken
kommen (vorsicht: pflegeintensive Regel)
Nur mal so interessehalber, nutzt Ihr sowas, und würde es überhaupt was bringen?
Viele Grüße
Andreas
-
Moin,
Addressfilterung ist OK
- Blocke nmap-Portscans (Nullscan, Xmas-Scan) anhand der TCP-Flags
Nein, jedenfalls nicht blind. Es gibt zum Beispiel einen Internetstandard zu Explicit Congestion Notification (RFC 3168) der vormals unbenutzte Flags benutzt und es gibt einen Haufen fehlkonfigurierter Paketfilter die solche Pakete einfach wegschmeissen, mit dem Effekt, dass viele Linux 2.4-Benutzer nicht mehr durch diese Filter kommunizieren können. -> RFC 3360
- Blocke unmögliche Pakete, die z.B. SYN und FIN gleichzeitig gesetzt
haben (wie auch in der CERT-Meldung erwähnt)
Diese Kombination ist möglich und gehört zu einem experimentellen Standard namens T/TCP. -> RFC 1644
Nur mal so interessehalber, nutzt Ihr sowas, und würde es überhaupt was bringen?
Wenn man es falsch macht: Ärger.
--
Henryk Plötz
Grüße aus Berlin-
Hi!
Nein, jedenfalls nicht blind. Es gibt zum Beispiel einen Internetstandard zu Explicit Congestion Notification (RFC 3168) der vormals unbenutzte Flags benutzt und es gibt einen Haufen fehlkonfigurierter Paketfilter die solche Pakete einfach wegschmeissen, mit dem Effekt, dass viele Linux 2.4-Benutzer nicht mehr durch diese Filter kommunizieren können. -> RFC 3360
- Blocke unmögliche Pakete, die z.B. SYN und FIN gleichzeitig gesetzt
haben (wie auch in der CERT-Meldung erwähnt)
Diese Kombination ist möglich und gehört zu einem experimentellen Standard namens T/TCP. -> RFC 1644
Ja - und? Nur weil es das gibt, warum soll man es erlauben? Man kann doch sehr genau definieren welche Requests hier Sinn machen, und welche nicht, und dem entsprechend filtern! Naja, vermutlich machen derartige Requests keien probleme, also hat es keinen Sinn und kostet Performance, habe ja gesagt das ich merh oder weniger ins blaue gerragt habe ;-)
Nur mal so interessehalber, nutzt Ihr sowas, und würde es überhaupt was bringen?
Wenn man es falsch macht: Ärger.
Wovon ich bei dem hier verfügbaren know-how mal nicht davon ausgehen würde ;-)
Viele Grüße
Andreas - Blocke unmögliche Pakete, die z.B. SYN und FIN gleichzeitig gesetzt
-
Moin!
ich weiß jetzt nicht ob das wirklich was bringt bei den DoS Atacken, aber habe gerade folgendes in einer RedHat Mailingliste aufgeschnappt:
- Lasse keine Pakete heraus, die nicht Deine IP als Absender haben
(Würden das alle tun, gäbe es kaum ein Spoofing-Problem)
Das ist hier kein Thema, weil der Server allein ist und dieses Problem (IP-Spoofing) nicht produziert.
- Lasse keine Pakete herein, die Deine IP als Absender haben
Naja, wie wahrscheinlich ist das denn?
- Lasse keine Pakete herein, die vorgeben aus dem RFC1918 Bereich
(private IP-Adressen) zu stammen
Die kommen hier mit 99,9% Sicherheit nie am Server an, weil sie schon am übergeordneten Router vom Provider rausgeworfen werden.
- Lasse keine Pakete heraus, die in den RFC1918 Bereich wollen
Das dürfte auch nur den Router des Providers betreffen - der Self-Server macht sowas nicht.
- Blocke nmap-Portscans (Nullscan, Xmas-Scan) anhand der TCP-Flags
- Blocke unmögliche Pakete, die z.B. SYN und FIN gleichzeitig gesetzt
haben (wie auch in der CERT-Meldung erwähnt)
Das beides betrifft nur Scans des Servers. nmap kann anhand der Verhaltensweise bei gewissen undefinierten Flagkombinationen das Betriebssystem des Servers raten. Das allein ist aber noch kein Sicherheitsrisiko - der Server selbst muß dann Sicherheitslücken aufweisen, die man nutzen könnte - und Christian pflegt den Server doch erstklassig, da würde ich von Sicherheitslücken erstmal nicht ausgehen - außer es entdeckt jemand eine neue, und Christian ist gerade im Urlaub...
- Lasse keine Pakete herein, die aus den diversen reserved-IP Blöcken
kommen (vorsicht: pflegeintensive Regel)
Bringt auch kaum was. Alle IPs im Internet können potentiell eine Anfrage an den Server stellen. Also muss man alles zulassen: Alle Adressen dürfen anfragen, an alle Adressen wird geantwortet.
Nur mal so interessehalber, nutzt Ihr sowas, und würde es überhaupt was bringen?
Die derzeitige Problematik liegt darin, dass ein Client eine rechenintensive Operation (Anforderung der Forumshauptseite oder eine Suche) anstößt, dann aber die Verbindung sofort trennt, ohne auf den Inhalt zu warten. Dadurch wird der Server immer gut ausgelastet, und manchmal ist dadurch eben die Suche unzugänglich (das Forum zum Glück nicht). Gegen solche Attacken kann man sich eigentlich kaum wehren, denn es wird einfach ausgenutzt, dass der Rechner ab einer gewissen Last nicht mehr reagiert. Dann müssen alle anderen Clients eben warten, bis wieder Ressourcen frei sind.
Theoretisch könnte man natürlich programmieren, dass die Suche sofort aufhört, wenn die Verbindung gekappt wurde. Aber das dürfte einen tiefen Eingriff in den Kernel und den Netzwerkcode sowie in den Apache bedeuten. Außerdem wäre dem aus Angreigersicht ganz schnell begegnet, indem die Verbindung erst dann gekappt wird, wenn der Server HTML ausliefern will, bzw. die Suchergebnisse.
Im Prinzip hilft dagegen nur Rechenpower und effiziente Programmierung der Serverskripte (bzw. man nimmt dann lieber doch keine Skriptsprache mehr, sondern etwas kompiliertes). Aber auch diese Bemühungen bringen die Performance nicht unbegrenzt nach vorn - im Zweifel gewinnt der Angreifer, spätestens dann, wenn er eine DDoS oder DRDoS-Attacke fährt. Da hilft dann zwar unter Umständen ein Paketfilter, aber der muss _vor_ dem Flaschenhals sitzen, sofern die xDoS-Attacke die verfügbare Bandbreite überlastet.
- Sven Rautenberg
-
Hi!
Im Prinzip hilft dagegen nur Rechenpower und effiziente Programmierung der Serverskripte (bzw. man nimmt dann lieber doch keine Skriptsprache mehr, sondern etwas kompiliertes). Aber auch diese Bemühungen bringen die Performance nicht unbegrenzt nach vorn - im Zweifel gewinnt der Angreifer, spätestens dann, wenn er eine DDoS oder DRDoS-Attacke fährt. Da hilft dann zwar unter Umständen ein Paketfilter, aber der muss _vor_ dem Flaschenhals sitzen, sofern die xDoS-Attacke die verfügbare Bandbreite überlastet.
Naja, wenn das Forum erstmal in C läuft, und die Suche etwas performanter programmiert ist, kombiniert mit besserer Hardware, wie ich es im Thread hier drunter angeregt habe(oder spricht was dagegen das mal durchzuziehen? Ich denke sogar das viele Leute die immer jammern spenden wüden, ganz angesehen von den vielen Stammpostern), denke ich das man sich erstmal ein wenig Luft verschafft haben sollte!
Ich habe leider von solchen Dingen viel zu wenig Ahnung, wollte es nur mal anmerken. Danke für die ausführliche Erklärung!Grüße
Andreas-
Hi Andreas,
Naja, wenn das Forum erstmal in C läuft, und die Suche etwas
performanter programmiert ist, kombiniert mit besserer Hardware,
wie ich es im Thread hier drunter angeregt habe( ...), denke ich,
das man sich erstmal ein wenig Luft verschafft haben sollte!vergleiche doch mal die erzielbaren Faktoren:
Eine doppelt so gute Hardware, die ganz ordentlich Kohle erfordern
dürfte, würde die Leistungsfähigkeit des Self-Portals um Faktor 2
erhöhen - also den Angreifer dazu zwingen, ebenfalls doppelt so viel
Power zu investieren.Im Vergleich dazu sind sowohl bei einer Reduzierung der Zugriffe auf
die XML-Strukturen als auch bei einer logarithmischen statt einer
linearen Suche Faktoren drin, die im zweistelligen Bereich liegen
können. So etwas kann man an Hardware heute gar nicht mehr kaufen.
Nur kostet das eben auch - nämlich Zeit.Man könnte versuchen, die Dienste zu trennen, also auf zwei Rechner
zu verteilen. Aber beispielsweise das Forum auf den einen und die
Suche auf den anderen Server zu legen, wo doch 'eigentlich' (eine
funktionsfähige Schnittstelle zwischen beiden während der Archivie-
rung vorausgesetzt) auf denselben Datenbestand zugreifen wollen, würde
bedeuten, diese beiden Rechner vernetzen und damit eben doch wieder
voneinander abhängig machen zu müssen.Es gibt gar nicht so viele Einsatzfälle in der IT, die sich beliebig
leicht auf mehrere Rechner bzw. Prozessoren verteilen lassen.
Oft genug hängen die Teilbereiche einer Anwendung in so komplexer
Weise zusammen, daß man sie eben nicht 'mal eben so' trennen kann.Viele Grüße
Michael-
Hi!
vergleiche doch mal die erzielbaren Faktoren:
Eine doppelt so gute Hardware, die ganz ordentlich Kohle erfordern
dürfte, würde die Leistungsfähigkeit des Self-Portals um Faktor 2
erhöhen - also den Angreifer dazu zwingen, ebenfalls doppelt so viel
Power zu investieren.Es geht doch nicht nur um die Angreifer, das wäre ein kleiner Nebeneffekt. Es geht darum das die Suche besser funktioniert, das Postings schneller bearbeitetn werden und selterner "es wird gerade ein anders Postig bearbeitet..." kommt.
Und ich habe ja bereits gesagt, selbst wenn nur 20-30 % des Geldes für einen vergleicbaren Server uzsammenkäämen, könnte man den RAM verdoppeln, die Rechenleistung der CPU um über 50% steigern, das wäre doch besser als nichts! ODer die andere Variante, die ich eher favorisiere, einen wirklichen low-budget 2.-Server anzuschaffen.Im Vergleich dazu sind sowohl bei einer Reduzierung der Zugriffe auf
die XML-Strukturen als auch bei einer logarithmischen statt einer
linearen Suche Faktoren drin, die im zweistelligen Bereich liegen
können. So etwas kann man an Hardware heute gar nicht mehr kaufen.
Nur kostet das eben auch - nämlich Zeit.Sicher, und es stellt sich die Frage was einfacher/billiger ist! Wenn man Euch für die Verbesserungen der Software bezahlen müßte, würde das aber auch entsprechend mehr kosten als ein 2. Server! Ich versteh es nicht, sehr viele Leute bekunden Bereitschaft hierfür was zu spenden, aber die Verantwortlichen scheint das nicht zu interessieren!
Man könnte versuchen, die Dienste zu trennen, also auf zwei Rechner
zu verteilen. Aber beispielsweise das Forum auf den einen und die
Suche auf den anderen Server zu legen, wo doch 'eigentlich' (eine
funktionsfähige Schnittstelle zwischen beiden während der Archivie-
rung vorausgesetzt) auf denselben Datenbestand zugreifen wollen, würde
bedeuten, diese beiden Rechner vernetzen und damit eben doch wieder
voneinander abhängig machen zu müssen.Ja, aber die rechnen dann unabhängig voneinander, und beides ist entlastet. Das Forum, so toll es auch ist, ist von der Struktur nunmal potentiell unperformant.
Es gibt gar nicht so viele Einsatzfälle in der IT, die sich beliebig
leicht auf mehrere Rechner bzw. Prozessoren verteilen lassen.Aber gerade dieses Projekt ist doch geradezu prädestiniert dafür! Schon alleien die vielen verschiedenen Adressen!(selfforum, selfhtml, selfaktuell, selfsuche...) das kann man doch wunderbar verteilen! Sicher braucht man dazwischen eine VErbindung, aber was ist das Problem? Die ist ja Netzintern mit 100Mbit, das sollte keine Probleme machen!
Oft genug hängen die Teilbereiche einer Anwendung in so komplexer
Weise zusammen, daß man sie eben nicht 'mal eben so' trennen kann.Ist das denn in diesem Fall so?
Grüße
Andreas-
Hi Andreas,
vergleiche doch mal die erzielbaren Faktoren:
...
Es geht doch nicht nur um die Angreifer, das wäre
ein kleiner Nebeneffekt.meine Eindruck ist ein anderer.
Es geht darum das die Suche besser funktioniert,
Die Suche _alleine_ funktioniert tadellos. Schau Dir
die ausgegebenen CPU-Zeiten an - die Maschine _ist_
schnell und wird mit dem Durchsuchen von 100 MB in
einer Zeit fertig, die als Antwortzeit durchaus reicht.das Postings schneller bearbeitetn werden und
selterner "es wird gerade ein anders Postig
bearbeitet..." kommt._Das_ liegt nicht an der Verarbeitungsgeschwindigkeit
des Rechners, sondern an der Sperren-Logik der Forum-
Software, d. h. an deren Architektur.
Das, was Christian derzeit neu schreibt, wird viel
weniger Sperren setzen - und _deshalb_ werden sich
die Forums-Poster weniger gegenseitig behindern.Und ich habe ja bereits gesagt, selbst wenn nur
20-30 % des Geldes für einen vergleicbaren Server
uzsammenkäämen, könnte man den RAM verdoppeln, die
Rechenleistung der CPU um über 50% steigern, das
wäre doch besser als nichts!Bevor ich Christian dafür einsetzen wollen würde,
eine neue Maschine "zuzureiten" oder gar das Self-
Portal sauber in zwei Rechner zu zerschneiden (was
eben auch ein Haufen Arbeit sein kann), würde ich
lieber seine neue Forums-Software im Einsatz sehen.
Danach haben wir vielleicht überhaupt kein Perfor-
mance-Problem mehr.ODer die andere Variante, die ich eher favorisiere,
einen wirklichen low-budget 2.-Server anzuschaffen.Siehe oben: Das löst keine organisatorischen oder
architektonischen Probleme.Sicher, und es stellt sich die Frage was
einfacher/billiger ist!
Wenn man Euch für die Verbesserungen der Software
bezahlen müßte, würde das aber auch entsprechend
mehr kosten als ein 2. Server! Ich versteh es nicht,
sehr viele Leute bekunden Bereitschaft hierfür was
zu spenden, aber die Verantwortlichen scheint das
nicht zu interessieren!Einen Rechner, der so schnell ist, wie der bisherige
mit getuneter Software, kannst Du für keinen sechs-,
vielleicht nicht mal siebenstelligen Betrag kaufen -
das ist meine Erwartung.Das, was Christian gekauft hat, _ist_ schon gut.
Da sind keine großen Verbesserungen mehr zu holen.
Sicher, ein Betriebssystem, das mit beiden CPUs
arbeiten könnte, wäre mir auch lieber ...Ja, aber die rechnen dann unabhängig voneinander,
und beides ist entlastet. Das Forum, so toll es
auch ist, ist von der Struktur nunmal potentiell
unperformant.Und das wird es auch dann sein, wenn es einen Rechner
für sich hat. Über den Tag gerechnet schätze ich, daß
das Forum 70% und die Suche 20% der CPU-Last saugt,
alles übrige insgesamt den Rest.
Wenn Du dann zwei gleich starke Maschinen hinstellst,
wird das Forum nicht mal um 50% schneller, und die
Sperren-Problematik wird überhaupt nicht entschärft.Es gibt gar nicht so viele Einsatzfälle in der
IT, die sich beliebig leicht auf mehrere Rechner
bzw. Prozessoren verteilen lassen.
Aber gerade dieses Projekt ist doch geradezu
prädestiniert dafür! Schon alleien die vielen
verschiedenen Adressen!(selfforum, selfhtml,
selfaktuell, selfsuche...) das kann man doch
wunderbar verteilen!Nicht, wenn mehrere davon auf dieselben Daten zu-
greifen müssen.
Laß Dich nicht von der "Verpackung" blenden: Der
Forums-Archivierer und die Suchmaschine bearbeiten
dieselbe Datenstruktur, nämlich die Index-Dateien der
Suche. Der eine schreibt sie, der andere liest sie.Sicher braucht man dazwischen eine Verbindung,
aber was ist das Problem? Die ist ja Netzintern
mit 100Mbit, das sollte keine Probleme machen!Aber wenn der eine Rechner lahmgelegt wird und der
andere von diesem abhängt, hast Du nichts gewonnen.
Und diese 100MBit-Verbindung mag performant genug
sein - aber sie ist auch eine zusätzliche potentielle
Ausfallstelle. Ein Rechnernetz voneinander abhängiger
Systeme, die einander nicht ersetzen können, ist feh-
leranfälliger als ein Einzelrechner.Viele Grüße
Michael-
Hallo!
Es geht doch nicht nur um die Angreifer, das wäre
ein kleiner Nebeneffekt.meine Eindruck ist ein anderer.
Wie meinst Du das? Meinst Du mein Posting oder die tatsächliche Belastung?
Es geht darum das die Suche besser funktioniert,
Die Suche _alleine_ funktioniert tadellos. Schau Dir
die ausgegebenen CPU-Zeiten an - die Maschine _ist_
schnell und wird mit dem Durchsuchen von 100 MB in
einer Zeit fertig, die als Antwortzeit durchaus reicht.1. Wenn das Archiv in der Geschwindigkeit so weiterwächst, dann hast Du in 1 Jahr über 250 MB zu durchsuchen... wenn man optimistisch ist! Und das halbiert die Performance schonmal!
2. habe ich sehr oft Zeiten von über 4 Sekunden da stehem
3. hast Du die guten Zeiten nur weil andauernd dei Sperre greift, wenn dem nicht so wäre will ich nicht wissen wie es dem Server ergehen würde!_Das_ liegt nicht an der Verarbeitungsgeschwindigkeit
des Rechners, sondern an der Sperren-Logik der Forum-
Software, d. h. an deren Architektur.Sicher, aber ein schnellerer Server kann trotzdem mehr Posting in gleicher Zeit bei gleicher Sperre bearbeiten! Und auch hier, wenn die Sperre weg ist leidet die Performance!
Das, was Christian derzeit neu schreibt, wird viel
weniger Sperren setzen - und _deshalb_ werden sich
die Forums-Poster weniger gegenseitig behindern.Aber durch das Behindern wird Performance gespart, bzw. verteilt, die einen Teil des Performance-Gewinns "aufgefressen" wird!
Bevor ich Christian dafür einsetzen wollen würde,
eine neue Maschine "zuzureiten"ich dachte bei Linux wäre das nicht _soooo_ der Akt?! Die conf-Files kann man sich ja kopieren!
oder gar das Self-
Portal sauber in zwei Rechner zu zerschneiden (was
eben auch ein Haufen Arbeit sein kann),OK, das glaube ich!
Wie ist das denn eigentlich bei einem Cluster, wird das ganze Verteilen da nicht von der Software übernommen, und der Admin hat am Ende doch nur einen "virtuellen" Server?würde ich
lieber seine neue Forums-Software im Einsatz sehen.
Danach haben wir vielleicht überhaupt kein Perfor-
mance-Problem mehr.Vielleicht, wißt Ihr denn schon so ganz grob in welchem Rahmen sich die Einsparungen bewegen könnten?
Siehe oben: Das löst keine organisatorischen oder
architektonischen Probleme.Es gibt mehere Stellen wo man die Performance verbessern kann, aber die Last des SELF-Raums wird ja auch nicht geringer mit der Zeit, und ohne Sperren..., neue, zusäztliche Funktionen im Forum wird auch Performance verbraucht, das Archiv wird erheblich wachsen...
Wenn man doch jetz ohen besonders viel Zeit zu investioeren die Hardware verbessern könnte, was Sprache dagegen? Alleine die Tatsache das keine Zeit mehr fürs Aufregen über igenorante Beschwerde-Mails/Postings aufgebracht werden müßte...Einen Rechner, der so schnell ist, wie der bisherige
mit getuneter Software, kannst Du für keinen sechs-,
vielleicht nicht mal siebenstelligen Betrag kaufen -
das ist meine Erwartung.Das glaube ich nicht. Für 1 Mio EUR stelle ich Dir einen Cluster mit 1000 Rechnern wie von mir beschreiben da hin, schon alleine die 10 % Performance für "den Rest", die ja nicht verändert wird verhindert das!
Das, was Christian gekauft hat, _ist_ schon gut.
Ja? 1,2 GHz, 1GB RAM? Sicher, alles Top-Komponenten mit sehr hoher Ausfallsicherheit, aber überleg Dir mal die Anforderungem!
Da sind keine großen Verbesserungen mehr zu holen.
Ich weiß, die Zahlen sind nicht alles, zum einen gibt es für eine vergleiocubare Architektur inzwischen soweit ich weiß einen schnelleren FSB, mehr als doppelt soviel CPU-MHz und 8 mal soviel RAM!
Sicher, ein Betriebssystem, das mit beiden CPUs
arbeiten könnte, wäre mir auch lieber ...Wenn ich mal so fragen darf - warum installiert Ihr dann keines? Wie ich in einigen Tests lesen konnte wird dasselbe Board erfolgreich mit RedHat 7 mit 2 Prozessoren verwendet wird. Das versteh ich nicht ganz! Aber Ihr habt ja kein Linux sondern irgendei BSD wenn ich nicht irre. liegt es daran? Aber igr werdet das sicher genauso gut wissen und andere Dinge sind wohl wichtiger, war mir halt nur so aufgefallen.
Und das wird es auch dann sein, wenn es einen Rechner
für sich hat. Über den Tag gerechnet schätze ich, daß
das Forum 70% und die Suche 20% der CPU-Last saugt,
alles übrige insgesamt den Rest.Ich weiß jetzt nicht ob der RAM evtl. einen Engpaß darstellt, aber dei CPU scheint dies ja zu sein. Da ich versteh das Ihr das System nicht neu mit RedHat oder ähnlichem aufsetzen wollt, könnte man ja eine schnellere CPU besorgen, die 50% schneller ist, das wäre doch eine 50%ige Performance-Steigerung, und ist nicht wirklich zeitaufwändig, oder? Vielleicht könnte man temporär mit einem anderen Board(single-cpu) und einer anderen CPU noch erheblich mehr rausholen. Wie gesagt, die Bereitschaft hierfür zu spenden besteht, das ganze würde Euch so gut wie keine Zeit kosten.
Warum nehmt Ihr das "Gechenk" nicht einfach an? Mehr Hardware-Performance ist doch nie verkehrt. Und die meisten Leute würden das gerne unterstützen, da sie so wie ich (noch) nicht in der Lage sind Euch Programmiertechnisch zu helfen.Viele Grüße
Andres-
Hi Andreas,
- Wenn das Archiv in der Geschwindigkeit so
weiterwächst, dann hast Du in 1 Jahr über 250 MB
zu durchsuchen... wenn man optimistisch ist!
nichts spricht dagegen, das Archiv in kleinere Teile
als Jahres-Abschnitte zu zerlegen. Das geht ohne
Änderung der bestehenden Software in wenigen Minuten,
durch eine Änderung in einer Konfigurationsdatei.
Bisher scheint das niemand für notwendig angesehen zu
haben - ich vermute, weil es das Forum ist, das "weh
tut", nicht die Suche.- habe ich sehr oft Zeiten von über 4 Sekunden da
stehem
Für die jetzige Größe einer Jahres-Archivdatei war die
Indexstruktur auch nicht gedacht.
Mach Quartalsdateien daraus, und Du bekommst deutlich
schnellere Antwortzeiten, weil nur die wenigsten Such-
vorgänge das gesamte Archiv durchsuchen müssen.- hast Du die guten Zeiten nur weil andauernd dei
Sperre greift, wenn dem nicht so wäre will ich nicht
wissen wie es dem Server ergehen würde!
Wir reden von verschiedenen Sperren. Ich meine nicht
das "Aussperren" von Benutzern von der Suche, sondern
die Forums-Software, die während der Einfügung eines
neuen Postings Dutzende (!) von Forums-Dateien sperren
muß, weil all diese Dateien konsistent geändert werden
müssen. Dadurch ist die Wahrscheinlichkeit, daß zwei
Postings einander gegenseitig behindern, ziemlich hoch.Aber durch das Behindern wird Performance gespart,
bzw. verteilt, die einen Teil des Performance-
Gewinns "aufgefressen" wird!Keineswegs. Durch das Behindern wird Performance nutz-
los verbraten, weil Sperren gesetzt und abgefragt wer-
den müssen, die bei einer besseren Architektur gar
nicht notwendig sind!
Du wirst mir doch nicht erzählen wollen, daß der Server
dadurch _entlastet_ wird, daß ein Teilnehmer sein
Posting so oft absenden muß, bis es endlich mit nichts
mehr kollidiert, statt dies nur ein einziges mal tun zu
müssen?Bevor ich Christian dafür einsetzen wollen würde,
eine neue Maschine "zuzureiten"
ich dachte bei Linux wäre das nicht _soooo_ der
Akt?! Die conf-Files kann man sich ja kopieren!Aber die Einrichtung dutzender von Benutzerkennungen,
die Installation der gesamten Software (FTP-Server,
Squid, Perl, Forum, ...), das kann Tage oder Wochen
kosten. Zeit, die sinnvoller in die Entwicklung des
neuen Forums gesteckt wird.
Lies http://aktuell.de.selfhtml.org/artikel/server/self/software.htm,
um zu sehen, was alles funktionieren muß, damit der
Server seinen jetzigen Funktionsumfang bekommt.Wie ist das denn eigentlich bei einem Cluster, wird
das ganze Verteilen da nicht von der Software
übernommen, und der Admin hat am Ende doch nur einen
"virtuellen" Server?Dazu muß es diese "clusterfähige" Software aber erst
einmal geben. Die muß so geschrieben sein, daß sie
in viele einzelne Prozesse zerlegbar ist, welche in
einer Art und Weise miteinander kommunizieren bzw. auf
gemeinsame Daten zugerifen können, die performant ist,
aber gleichzeitig die Konsistenz der Daten nicht zer-
stört. Und daß Synchronisation wiederum Ressourcen
frißt, sollte Dir klar sein.
Wenn Forum-Software auf zwei CPUs parallel läuft und
beide gleichzeitig ein Posting erzeugen wollen, wer
regelt dann, in welcher Reihenfolge die XML-Strukturen
von diesen Postings verändert werden dürfen?
Eine mehrprozessor-fähige Software zu schreiben ist ein
erheblicher Zusatzaufwand. Mach Dir den Unterschied
zwischen ASCII-Dateien und einer Oracle-Datenbank be-
wußt, dann hast Du die ungefähre Größenordnung davon.Vielleicht, wißt Ihr denn schon so ganz grob in
welchem Rahmen sich die Einsparungen bewegen
könnten?Das sollte besser Christian beantworten. Ich habe nur
ganz ungefähr in Erinnerung, daß das Analysieren der
XML-Strukturen einen nennenswerten Prozentanteil der
gesamten Verarbeitungszeit kostet. Und das wird nicht
etwa schneller werden, sondern komplett _wegfallen_.
(Die Strukturen werden dann nur noch ein einziges Mal
geparst, nämlich wenn der Forum-Daemon gestartet wird- ansonsten hält dieser die Daten im Hauptspeicher.)
Wenn man doch jetz ohen besonders viel Zeit zu
investioeren die Hardware verbessern könnte, was
Sprache dagegen?Mir erscheint das Preis/Leistungs-Verhältnis bei der
Aktivierung neuer Hardware ungünstiger als bei der
Verbesserung der bestehenden Software.
Von beiden Haupt-Anwendungen ist bekannt, daß durch
eine Änderung der Architektur erhebliche Faktoren
eingespart werden können. Ohne diese Änderungen wird
es auf die Dauer nicht gehen - ohne bessere Hardware
aber vielleicht schon. Deshalb befürworte ich, zuerst
die wichtige und unvermeidliche Änderung, die keine
Anschaffungskosten mit sich bringt, zu absolvieren,
und danach zu prüfen, ob die Aufrüstung der Hardware
dann überhaupt noch etwas bringt.
Ich bin nicht entscheidungsbefugt für die Weiterent-
wicklung des Self-Portals. Ich sage nur meine Meinung.
Und Christian Kruse ist dabei die "knappe Ressource".Alleine die Tatsache das keine Zeit mehr fürs
Aufregen über igenorante Beschwerde-Mails/Postings
aufgebracht werden müßte...Das Aufregen bindet keine kostbaren Ressourcen. ;-)
Das glaube ich nicht. Für 1 Mio EUR stelle ich Dir
einen Cluster mit 1000 Rechnern wie von mir
beschreiben da hinAuf dem nichts von der derzeit existierenden Software
schneller läuft. Wie oft soll ich Dir das noch erklären?Das, was Christian gekauft hat, _ist_ schon gut.
Ja? 1,2 GHz, 1GB RAM? Sicher, alles Top-Komponenten
mit sehr hoher Ausfallsicherheit, aber überleg Dir
mal die Anforderungem!Das tue ich. Und was diese Anforderung nicht erfüllt,
das ist die Architektur der Software - nicht die Hard-
ware.
Du siehst doch, daß das Self-Portal bei den readonly-
Seiten mühelos mit der bestehenden Hardware auskommt.Ich weiß, die Zahlen sind nicht alles, zum einen
gibt es für eine vergleiocubare Architektur
inzwischen soweit ich weiß einen schnelleren FSB,
mehr als doppelt soviel CPU-MHz und 8 mal soviel
RAM!Der mehr RAM nützt nichts, sofern die Software ihn
nicht ausnutzt. Den Faktor 2 bei der CPU habe ich
berücksichtigt - die Software-Änderung wird ein Viel-
faches davon bewirken. Also ist letztere wichtiger.Wenn ich mal so fragen darf - warum installiert Ihr
dann keines?Die Entscheidung für das Betriebssystem hängt noch von
anderen Faktoren ab als nur der Unterstützung von zwei
CPUs. Christian hat sich für BSD entschieden, und er
wird seine Gründe dafür haben.Ich weiß jetzt nicht ob der RAM evtl. einen Engpaß
darstellt, aber dei CPU scheint dies ja zu sein.Genaue Zahlen hat nur Christian, aber ich sehe das
ähnlich.Da ich versteh das Ihr das System nicht neu mit
RedHat oder ähnlichem aufsetzen wollt, könnte man
ja eine schnellere CPU besorgen, die 50% schneller
ist, das wäre doch eine 50%ige Performance-
Steigerung, und ist nicht wirklich zeitaufwändig,
oder?Wie lange darf das Portal für den Umbau ausfallen?
Tage? Wochen?
Bedenke, daß der Rechner in München steht und Christian
einige hundert Kilometer entfernt davon wohnt. Das ist
alles nicht so einfach, wie Du Dir das vorstellst.Warum nehmt Ihr das "Gechenk" nicht einfach an?
Ich möchte Dich nicht enttäuschen. Und ich möchte auch
nicht, daß Du mit dem Geschenk Erwartungen verbindest,
die dann nicht erfüllt werden.
Ich bin aber weder befugt, das Geschenk anzunehmen,
noch es abzulehnen.Mehr Hardware-Performance ist doch nie verkehrt.
Wenn ihr Einsatz kostbarere Ressourcen bindet, schon.
Und die meisten Leute würden das gerne unterstützen,
da sie so wie ich (noch) nicht in der Lage sind Euch
Programmiertechnisch zu helfen.Wie willst Du Christians Betriebs- und Sicherheits-
konzept auf einem anderen Betriebssystem umsetzen
helfen?Viele Grüße
Michael - Wenn das Archiv in der Geschwindigkeit so
-
-
-
-
-
- Lasse keine Pakete heraus, die nicht Deine IP als Absender haben
-
Hallo,
ich weiß jetzt nicht ob das wirklich was bringt bei den DoS Atacken,
Kommt darauf an, was fuer eine Art DoS benutzt wird. DoS ist ein *sehr* allgemeiner Begriff;
darunter faellt viel.Nur mal so interessehalber, nutzt Ihr sowas,
Nein.
Eine Firewall ist nur dann sinnvoll, wenn sie auf einem anderen Rechner als dem zu schuetzenden
System ist.und würde es überhaupt was bringen?
Nein. Wir haben es mit einer ganz anderen Art von DoS zu tun, da kann keine Firewall helfen. In
unserem Fall waere es sogar schlecht: eine Firewall verursacht durchaus Last, und das nicht zu
knapp. Gerade auf einem so gut besuchten System wie hier.Gruesse,
CK-
Hallo!
DAke für die Info!
Grüße
Andreas
-