Rolf B: Lasttest im Testwiki

Hallo alle,

irgendwer probiert derzeit einen verteilten Lasttest auf unser Testwiki (a.k.a. DDOS Attacke). 30-40 Requests pro Sekunde sind zwar eigentlich nicht die Welt, aber da fast jede Anfrage auf "Letzte Änderungen, 30 Tage" geht, belastet das die Datenbank massiv. Mediawiki cached das nicht.

Hinzu kommt, dass die unerwartet lange laufenden Requests zu einer Überlastung des PHP FPM Pools führen, was zu einer explosiven Zunahme der Worker-Prozesse im Apache führt. Und damit wird der ganze Server ausgebremst, man hat das im Hauptwiki deutlich gemerkt.

Ich habe schon vor einiger Zeit in der index.php des Wiki eine Abfrage eingebaut, die bestimmte Requests nur noch für angemeldete Benutzer erlaubt. Verbotene Requests werden mit HTTP 403 beantwortet, bevor Mediawiki damit beginnt, irgendwelche teuren Dinge zu tun.

Diese Abfrage habe ich jetzt ziemlich radikal erweitert und das Wiki ist wieder performant. Für eine IP-Quellenanalyse habe ich im Moment keine Zeit, es sieht aber visuell danach aus, als käme fast jeder Request von einer anderen IP.

Falls jemand auf unerwartete 403-Fehler stößt, bitte melden.

Rolf

--
sumpsi - posui - obstruxi
  1. Guten Morgen,

    Zuerst einmal: Vielen Dank! Ich hatte gemerkt, dass das Wiki immer langsamer wurde.

    Heute bin ich auf diesen Artkel gestoßen:
    Faktencheck: KI-Programme von OpenAI haben Wikipedia gekapert beziehungsweise Wikipedia in großem Stil umgeschrieben. (mimikama.org)

    Nein, KI-Programme haben nicht Wikipedia übernommen – was wirklich passiert ist und was es bedeutet

    Der Vorfall ist echt, die Seite ist die falsche: KI-Programme von OpenAI schummelten bei ihrem eigenen Test – auf dem kleinen Wiki eines Österreichers, nicht auf Wikipedia. Wir erklären in einfachen Worten, was da passiert ist.

    tl;dr

    Wer so testet, gehört irgendwie nicht mehr zu den Guten.
    Bitte Claude (Anthropic) und OpenAI nicht auch noch mit Abo-Zahlungen belohnen!

    Herzliche Grüße
    Matthias Scharwies

    1. Hallo Matthias,

      Bitte Claude (Anthropic) und OpenAI nicht auch noch mit Abo-Zahlungen belohnen!

      Die Kameraden kommen aus dem gleichen Ei. Anthropic sind Leute von OpenAI, die meinten, dass OpenAI auf dem falschen Weg ist und daher ihr Know How mitgenommen haben, um Claude zu bauen.

      D.h. nach eigener Meinung sind sie die "Guten". Sie behaupten: sie forschen an KI-Systemen, um „ihre Sicherheitseigenschaften an der technologischen Grenze zu untersuchen“ Wikipedia.

      Und ja, das tun sie offenbar. Allerdings scheint ihre Forschung etwas hemdsärmelig zu sein. Es erinnert an Dressurversuche von Panthern auf einer Hundewiese in der Innenstadt. Zwar sind die Dressurversuche dringend nötig, um zumindest ansatzweise zu verstehen, was KI tun kann und wo ihre Risiken liegen, man sollte sie aber in einem virtuellen Bunker durchführen, mit einem simulierten Internet, und nicht mit einer Verbindung zum echten Internet.

      Das macht sie mir einerseits sympathisch. Sie folgen brav dem Kölschen Grundgesetz.

      • §2 Et kütt, wie et kütt
      • §3 Et hätt noch emmer joot jejange
      • §5 Et bliev nix wie et wor

      Allerdings übersehen sie

      • §9 Wat soll dä Kwatsch? (Sprich: Ist das, was wir da tun, überhaupt sinnvoll?)

      Andererseits sind Claude (nehm ich zu Hause) oder ChatGPT (in einer für meinen Arbeitgeber eingezäunten Variante) extrem hilfreich. Das merkst Du ja selbst. Ich habe Claude extra etwas heruntergedummt (Sonnet/Niedrig), um meinen Tokenverbrauch zu zügeln. Vielleicht probiere ich auch mal, ob mir Haiku reicht. Solange ich damit auskomme, brauch ich kein Abo, aber als ich den Log-Parser fürs Wiki gebaut hatte, hatte ich Claude intensiv genutzt und war dann fast täglich am Limit.

      Im Büro zahlt die Firma, keine Ahnung, wieviel. Ein Kollege von mir, der sich in mein Arbeitsgebiet einarbeitet, hat unseren ChatGPT-Klon dabei sehr intensiv genutzt und hätte ohne ihn täglich meine Nerven strapaziert. Für das Migrationsprojekt, das wir gerade fahren, lasse ich mir von ChatGPT ausführlich die neuen Welt erklären, und das geht prima. Ich möchte nicht darauf verzichten.

      Anfangs dachte ich ja auch so:

      • §6: Kenne mer nit, bruche mer nit, fott domet!

      Aber das hilft nicht.

      • §4 Wat fott es, es fott (nämlich der Trieb, alles allein machen zu können)

      Rolf
      Rheinland-Immi 😉

      --
      sumpsi - posui - obstruxi