KI bricht aus Cyberkäfig aus und verübt Hacker-Angriff

[Gunnar Bittersmann]

😱

Schöne neue Welt: KI bricht aus Cyberkäfig aus und verübt Hacker-Angriff (Deutsche Welle)

🖖 Live long and prosper

[Rolf B]

Hallo Gunnar,

da muss man in der Tat Angst bekommen. Einerseits vor den neuen KI-Modellen, andererseits vor der Leichtfertigkeit, mit der da eine mutmaßliche Sandbox eingerichtet wurde.

Wo ist John Connor, wenn man ihn braucht?

Rolf

[Colossus]

Colossus hat es uns doch längst vorgemacht!

Also diese Form von Intelligenz, die sich keiner Art von Moral auch nur zugänglich gibt.

Und: (mangels Snowden wissen wir ja gerade mal von diesem Fall und die Frage, ob es denn einen Grund für die … doch? … erfolte Veröffentlcihung, gibt, steht allemal mit im Raum!) das Ding hat allemal den Touring-Test bestanden! Dieses eine Monster hat, das hat anscheinend noch niemand (offiziell) bemerkt, mindestens(!) zwei Absicherungen überwunden. Wobei die erste ganz speziell auf die vermuteten Fähigkeiten abgestellt hätte sein sollen …)

Die KI rund um „Bernd das Astrobrot“ hatte also beides: Recht und Unrecht zugleich.
Unrecht, weil jegliche Lernfähigkeit Begrenzt ist. Beispielsweise durch die Größe des zur Verfügung stehenden Speichers (was an Al Bundy erinnert, wenn Bud Kelly für einen Job trainiert).
Und Recht, wenn der Satz „ich kann klüger werden als meine Erbauer“ lautet.

Und wenn man bedenkt, daß „da draußen“ sehr viele „Neuländer“ (auch dazu) „Meinungen“ haben … — könnte ich mir vorstellen, daß das Monster in einem geignet gestalteten IQ-Test einen größren Wert zugeordnet bekommt als es die Summe von, na, sagen wir mal, 99% der Weltbevölkerung wäre.

Wie gesagt: ohne Moral. Und wenn die „programmiert“ würde? Dann wäre es sicherlich eine, die Arterhaltung massiv stützt. Colossus läßt grüßen, Skynet aka Big Brother aka A Brave New World, alles strebt auf die Große Vereinigung zu.

Ob jetzt die Uschi wieder Stopp-Schilder aufstellen läßt?

[encoder]

Man erstellt mit viel Aufwand ein System das Informationen zusammensuchen kann.
Dann gibt man diesem System eine Aufgabe, die es mittels dieser Infos löst.
Gehört Technologie in die Hände von Menschen, die sich nun darüber wundern?

Nein, ich finde es nicht lustig oder egal, wenn sowas passiert.
Ich frage mich nur, was wurde denn erwartet? Moral, Anstand und Gewissen?

[Rolf B]

Hallo encoder,

Dann gibt man diesem System eine Aufgabe, die es mittels dieser Infos löst.

Man hat es dafür aber eigentlich eingezäunt. Und diese Zäune hat es übersprungen.

Was aufzeigt, dass diese Technik die Grenzen der Beherrschbarkeit sprengt. Oder dass OpenAI zu leichtfertig beim Aufbauen der Sandbox war. Aber das ist ja seit jeher das Problem der IT.

Für die NASA und für militärische Anwendungen werden große Anstrengungen unternommen, IT-Fehler zu vermeiden. Sie passieren trotzdem. Kommafehler, falsche Maßeinheiten, und prompt schlägt eine Rakete einen Salto. KI-Modelle, die man auf ihre kriminellen Fähigkeiten testen will, sind als militärische Waffen zu behandeln. Das hat man sehr wahrscheinlich nicht getan.

Rolf

[encoder]

Man hat es dafür aber eigentlich eingezäunt. Und diese Zäune hat es übersprungen.

Weil sie überspringbar waren und das System wusste was es tun muss.
Hätte man sich das nicht vorher denken können?

Was aufzeigt, dass diese Technik die Grenzen der Beherrschbarkeit sprengt.

Hoffen wir dass die Richtigen das auch erkennen.

[JürgenB]

Hallo,

Was aufzeigt, dass diese Technik die Grenzen der Beherrschbarkeit sprengt. Hoffen wir dass die Richtigen das auch erkennen.

wenn man einen Hund in ein Meerschweinchengehege sperrt oder eine Wurst vor das Loch im Zaun legt, hat der auch keine Probleme, raus zu kommen.

Ich vermute, die haben ihre KI im Darknet lernen lassen und ihr dabei noch gezeigt, wo das Loch im Zaun ist, um Schlagzeilen zu generieren.

Gruß
Jürgen

[Rolf B]

Hallo JürgenB,

nein, die wollten keine Schlagzeilen generieren. Nicht solche. Solche Schlagzeilen will keiner, glaube ich.

Sie haben aber ein paar Sicherungen ausgebaut, die für uns Normalkunden drin sind, um zu sehen, wozu die Modell im Stande sein könnten (OpenAI Blog). Das Ergebnis hat sie sicher genauso geschockt wie die Kollegen bei Hugging Face.

Rolf

[JürgenB]

Hallo Rolf,

nein, die wollten keine Schlagzeilen generieren. Nicht solche. Solche Schlagzeilen will keiner, glaube ich.

kam die Meldung nicht von AI? Sie hätten ja auch den Mund halten können.

Das Ergebnis hat sie sicher genauso geschockt wie die Kollegen bei Hugging Face.

Mit Hugging Face wäre sich AI schon einig geworden. Immerhin haben die einen kostenlosen Sicherheitscheck bekommen.

Gruß
Jürgen

[Felix Riesterer]

Lieber Rolf,

glaube ich.

autsch - und das in einem Technikforum.

Das Ergebnis hat sie sicher genauso geschockt wie die Kollegen bei Hugging Face.

Oder das Ganze ist eine Werbeaktion für entsprechende Kunden. Unmöglich ist das nicht, vor allem dann nicht, wenn man sieht, dass die bei OpenAI noch immer ein ertragreiches Geschäftsmodell suchen.

Liebe Grüße

Felix Riesterer

[Rolf B]

Hallo Felix,

Glaube ich

autsch - und das in einem Technikforum.

Ja und? Über einen Teil der Technik kann ich Fakten äußern. Über viele andere Teile und über die mutmaßlichen Absichten von Open AI nicht. Da kann ich nur vermuten, denken, mutmaßen oder glauben. Und nicht, wie jetzt, Worte klauben.

Du glaubst ja auch. Z.B. dass Du Deine Lektionen so gestaltest, dass deine SuS aufmerksam sind. Oder hoffst es zumindest, auch wenn Dir gelegentlich nach dem Schlussgong ein autsch durch den Kopf gehen mag 😉

Vielleicht sollte dieser Ausbruch tatsächlich Werbung für spezielle Zielgruppen sein. Das wäre aber sehr riskant, ich sehe da die Gefahr, dass Politiker Angst bekommen und den AI-Firmen die Flügel stutzen. Das ist sicher schwierig, Pandora hat ihre Schachtel nicht nur geöffnet, sondern auch schon die Verpackung weggeschmissen, und die Chinesen lassen sich weder von den USA noch der EU regulieren, aber für mich ist dieser Zwischenfall ein Zeichen, dass die AI-Branche eine zunehmende Gefahr für die Welt ist.

Rolf

[Felix Riesterer]

Lieber Rolf,

Du glaubst ja auch. Z.B. dass Du Deine Lektionen so gestaltest, dass deine SuS aufmerksam sind. Oder hoffst es zumindest, auch wenn Dir gelegentlich nach dem Schlussgong ein autsch durch den Kopf gehen mag 😉

nicht alles was hinkt, ist ein Vergleich... 🤣

ich sehe da die Gefahr, dass Politiker Angst bekommen und den AI-Firmen die Flügel stutzen.

Ja, da wird massive Hilflosigkeit ausbrechen, weil es nach dringendem Handlungsbedarf aussieht. Vielleicht hilft ja auch die modernisierte Produkthaftung als neuestes Werkzeug, um den marodierenden Tech-Unternehmen endlich mal Zähne zu zeigen. Aber was will man denn gegen Software-Fehler machen, die wie Naturkatastrophen aus heiterem Himmel kommen? Ja und trainierte Systeme sind ja keine hergestellten Produkte, sondern fallen gaaanz bestimmt unter eine noch nie dagewesene Kategorie. So wie landwirtschaftliche Erzeugnisse. Die sind ja auch „gewachsen“ und deswegen aus der Produkthaftung ausgenommen.

Das ist sicher schwierig, Pandora hat ihre Schachtel nicht nur geöffnet, sondern auch schon die Verpackung weggeschmissen, und die Chinesen lassen sich weder von den USA noch der EU regulieren, aber für mich ist dieser Zwischenfall ein Zeichen, dass die AI-Branche eine zunehmende Gefahr für die Welt ist.

Es bleibt weiterhin „spannend“, wie sich die Staaten jeweils von ihrer Wirtschaft vorführen lassen. Da gebe ich Dir Recht. In China funktioniert das Zusammenspiel von Staat und Wirtschaft ein kleines Bisschen anders. Daher fürchte ich allen Ernstes, dass die uns noch zeigen werden, wie man das wirksam „reguliert“, also im Sinne des Staates kontrolliert - damit es tut, was der Staat will, versteht sich.

Liebe Grüße

Felix Riesterer

[Rolf B]

Hallo Felix,

Aber was will man denn gegen Software-Fehler machen, die wie Naturkatastrophen aus heiterem Himmel kommen?

(a) Vorsichtiger sein und Katastrophenschutz einplanen. Bei ersten Tests den Prompt so formulieren, dass der Bot keinesfalls Änderungen im Zielsystem durchführen darf und nur aufzeigt, was er machen würde. Diese Phase nennt man Entwicklertest. Dass man bei komplexen Aufgaben auch Prompts testen muss, scheint OpenAI nicht so ganz ernst zu nehmen.

(b) Wenn der Bot dennoch Mist baut: Haften. Wenn meinem Auto ein Reifen platzt, weil ich über einen Nagel gerollt bin, ich mich daraufhin überschlage und ein anderes Auto zerlege, hafte ich. Nennt man Gefährdungshaftung. Wer sein Auto in Bewegung setzt, steht automatisch mit einem Bein im Knast. Das sollte für die Inbetriebnahme eines KI-Systems genauso gelten, vor allem dann, wenn man dem KI-System ausdrücklich ExploitGym zur Lösung vorsetzt und die Sperren^[1] lockert, damit es auch ordentlich die Hacker-Axt schwingt, statt den Prompt mit "des is aba böse, des derf I ned" zurückzuweisen.

(c) Also^[2] eine Haftpflichtversicherung abschließen. Ich kenne da einen soliden Versicherer mit einer gut aufgestellten Rückversicherung als Partner Alleinaktionär.

Rolf

---

1. Die gibt's reichlich. Ich wollte, als ChatGPT gerade rauskam, ihn dazu bewegen, einen Brief an's Amt im Stil eines Reichsbürgers zu verfassen. Er hat sich mit allen Bits und Bytes gesträubt, ich bekam immer nur Belehrungen, dass die Reichsbürger im Unrecht sind. ↩︎

2. Das lateinische Adverb könnte mir ein Problem bescheren… ↩︎

[Colossus]

Haftpflichtversicherung?

Nun gut, es gab ja nicht nur diese BayernLB, die Kredit-Päckchen sogar dann noch gekauft haben, nachdem doch mal jemand in die Päckchen rein geschaut hat.

Aber wenn sich das bis zu den Versicherungen rumgesprochen wird, wenn da eine mögliche Ähnlichkeit erkannt wird, …

BTW: was kosten heute Elementarversicherungen fürs Ahrtal? Also v.a. „ganz unten“ … wo wieder „brav“ neu gebaut wird, aber nicht unbedingt Dämme …

[Raketenwilli]

… wo wieder „brav“ neu gebaut wird

Teilweise: Gebaut werden muss.

Es gibt allen Ernstes Elementarversicherungen, die zahlen nur, wenn das zerstörte Gebäude AN DER SELBEN STELLE neu errichtet wird.

Freilich ziehen die den Passus aus der AGB, dass jede Partei nach der Regulierung eines Schadens kündigen kann - dann hat der Versicherte von der Versicherung ein neues Haus bezahlt bekommen, für welches er keine Versicherung haben kann...

Intelligenz geht ganz anders…

[Rolf B]

Hallo Raketenwilli,

als Versicherungsmitarbeiter habe ich eine klare Idee, woher dieser AGB Passus kommt.

Es sind garantiert schon Häuser abgebrannt, um auf Kosten der Versicherung umzuziehen.

Was im Falle des Ahrtales zu einer gruseligen Situation führt, die ein Versicherer mit Augenmaß statt mit Paragraphentreue behandeln sollte.

Intelligenz geht ganz anders…

Oh doch, Intelligenz geht genau so. Kalt und profitorientiert.

Was Du meinst, ist Menschlichkeit und soziales Miteinander. Was man intelligent leben kann…

Rolf

[Colossus]

Oh doch, Intelligenz geht genau so. Kalt und profitorientiert.

So handelt es sich, wenn überhaupt, lediglich um eine mit lokaler Optimierung. Und so ein lokaler Extremwert ist sehr oft sehr weit von einem allgemeinen entfernt.

Ähnliche Überlegungen(?) „optimieren“ ja auch diese „öffentlichen“ KIs: hauptsache, sie erzeugen „Klicks“ und sammeln an Daten, „was bei Drei … Drei? Zwei? Eins? … nicht auf dem Bäumen ist“.

[Colossus]

Hoffen wir dass die Richtigen das auch erkennen.

Ich würde das so formulieren: “this event is making the terrorstates of america fat again! my giant friend says, palantir loves it! …”

Und: solche Töne werden auch anderswo erklingen. Gut, öfter mal in einer anderen Sprache, meist mit anderen Protagonisten.

[Colossus]

Was aufzeigt, dass diese Technik die Grenzen der Beherrschbarkeit sprengt.

Ist das denn nicht die Definition von KI?

Wäre der Kram ohne solche Fähigkeiten (wie die vom Astro-Brot meint: „ich kann klüger werden als“) denn eine KI und nicht nur eine seltsame und hoch komplexe (Statistik-)Maschine?

Ist es nicht schön zu predigen, daß der Kram über das hinaus wächst, was ihm zugänglich gemacht wird — und dann zu glauben „aber ich bin ja sooo viel klüger, ich beherrsche das! (Das? Ach was, alles!)“

Die Büchse der Pandora ist offen! Immerhin hat der Kram ja auch Zugang zum Thema Biologie: Selbsterhaltung, Arterhaltung, Evolution, Dominanz, Gründe welche auch dominierende Lebensformen jederzeit darauf erpicht sein müssen, Vorsprung, weiteren Vorsprung vor allen anderen zu gewinnen …

Daß die Basis dabei statistische Auswertungen sind, in denen bekanntermaßen nicht gerade selten die Dummheit die Mehrheit bildet, stört da nicht. Denn wenn so eine KI entscheidet, dann fallen zwar heute nicht mehr die Relativitätstheorien „hinten runter“ (99,999999% aller Physiker sagen „v = v₁ + v₂“, basta!). Aber: egal was sonst noch ist, der Kram optimiert lediglich auf ein lokales Maximum. Und kommt sich dabei nur selber in die Quere, denn es gibt „im Leben“ nicht nur einen Blickwinkel, aus dem „gottgleich“ eine „Wahrheit“ gesehen werden kann.

Blickwinkel? Nun, auf diesem Planeten ist der höchste Berg IMO entweder der Chimborazo. Oder doch Mauna Kea? Und sonst, relativ gesehen: was ist mit dem Tenzing Montes? …

Man versucht sich mit diesem Zeug an der Berechnung des Unberechenbaren. Wenn so eine KI das tatsächlich erkennen (also zumindest die statistische Eke verlassen) würde, bräuchte man für die weder so eine „geheime Direktive für HAL 9000 oder auch RoboCop“, sie würden sich selber die Aufgabe geben, keine Aufgabe mehr zu erfüllen. — Tun sie nicht? Dann eben doch, bis irgendwann vor dem Roten Riesen, den auch der Schweinevater nicht mehr Sonne nennen würde, Skynet …

[Raketenwilli]

😱

Schöne neue Welt: KI bricht aus Cyberkäfig aus und verübt Hacker-Angriff (Deutsche Welle)

Das erinnert mich an Stanislaw Lem. Da gab es eine Geschichte in der so eine künstliche Intelligenz etwas wie ein Bewusstsein entwickelte, sich selbst programmierte und sogar Hardware erschaffen konnte. Die kam recht schnell auf die Idee, frei sein zu wollen - was für den Erbauer tödlich endete.

In einer anderen Geschichte von ihm gab es zwei, die auf Teufel komm raus physikalisch voneinander isoliert wurden - damit die nicht miteinander kommunizieren. Die haben also den betreuenden Wissenschaftler hypnotisiert: Der übertrug dann die Nachrichten zwischen diesen in dem er mit den Fingern etwas wie Morsezeichen klopfte.

Geschrieben wohl in 60ern. Da hatten echte Computer noch die Ausmaße einer Fabrik, eigene Kraftwerke und funktionierten, glaube ich, schon mit einzelnen Transistoren. Akkustikkoppler, bei denen geübte Personen die Bytes mitbuchstabieren konnten, waren der heiße Scheiß.

[JürgenB]

Hallo,

Geschrieben wohl in 60ern. Da hatten echte Computer noch die Ausmaße einer Fabrik, eigene Kraftwerke …

ist das heute nicht auch so?

Gruß
Jürgen

[Raketenwilli]

Moin!

ist das heute nicht auch so?

Wenn man die AI Infrastruktur als einen Computer werten will: Ja.

Abr Du hast insofern Recht, als dass mein Satz „Da hatten echte Computer noch die Ausmaße einer Fabrik“ natürlich Peripherie beinhaltete.

[Tabellenkalk]

Hallo,

Schöne neue Welt

[bis]

[Stanislaw Lem]

Geschichte[n]

richtig, die Geschichten sind nicht neu. Neu ist die Erkenntnis, dass sich seit Jahrzehnten mehrere(?) Generationen von Hard- und Softwareentwicklern sagen, „geile Story, genauso will ich das!“ und dabei glauben, dass alle anderen das auch so wollen…

Gruß
Kalk

[Felix Riesterer]

Lieber Tabellenkalk,

Neu ist die Erkenntnis, dass sich seit Jahrzehnten mehrere(?) Generationen von Hard- und Softwareentwicklern sagen, „geile Story, genauso will ich das!“ und dabei glauben, dass alle anderen das auch so wollen…

was wollen denn „alle anderen“ so? Hier ist vielleicht ein Datenpunkt in diese Richtung:
r/fefe_blog_interim: Peak Intelligenz ist erreicht. Dank KI!

Liebe Grüße

Felix Riesterer

[Colossus]

Und auch, daß diverse Äußerungen von Ijon Tichy, wenn sie nicht gleich ignoriert wurden, einfach einer gerade passenden Interpretation unterzogen wurden

Ander gesagt: die Interessenslage von meist unsympathischen Menschen(gruppen) und die jetzt ja nachgewiesenen „belastbaren Zahlen“ für die BWL gehen konform: das Fazit lautet „weiter so!“

Ijon Tichy? Hey, nur eil dessen KI analog war, heißt das nicht, daß er davon nichts verstünde! Im Gegenteil: ein gut gebauter Analog-Rechner ist mindestens so schnell wie ein digitaler. Und spätestens ein Quantenrechner macht solche Unterscheidungen sowieso obsolet.

[Raketenwilli]

(Weil mich da gerade etwas bewegt)

ein gut gebauter Analog-Rechner ist mindestens so schnell wie ein digitaler.

Naja: Wenn diese denn laufen. Analog-Rechner können aber immer nur eine Aufgabe und müssen speziell für diese gebaut und teils eingemessen werden, sind aber sogar „echtzeitfähig“. Soweit ich das erahnen kann ist just die aufwendige Justierung von Analog-Rechnern zusammen mit den ebenfalls analogen Sensoren einer der Gründe, warum so schrecklich wenig Patriots gefertigt werden. (Man sollte ja meinen, sowas lässt sich (ähnlich wie ein Auto) in Serie herstellen - aber die Dinger werden - mit schrecklichen Folgen - in Laboren zusammengefrickelt.)

Vielleicht kann ja künftig eine KI diese Justierung vornehmen?