Filmtipp: Do you trust this computer?

[Christian Kruse]

Hallo marctrix,

Was tatsächlich passiert, wie das maschinelle Lernen genau abläuft, verstehen nicht einmal diejenigen, die es entwickeln.

Ich weiß nicht, wo du das her hast

Aus dem Film. Dort wird an einer Stelle behauptet, dass versucht würde, menschliches Lernen durch neuronale Netze nachzubilden, indem manche „Wege“, die zu sinnvollen Ergebnissen führen, verstärkt gegangen werden und Wege, die zu nichts geführt haben, „verwaisen“.

Das ist zwar vereinfacht, aber im wesentlichen richtig. Und inwiefern schließt du daraus, dass der Vorgang nicht verstanden wird? Das Gegenteil ist doch der Fall, der Vorgang wird sehr genau verstanden.

[…]

So naheligend das auch ist (unsere Gesichter verändern sich ja, wenn wir uns über den Erfolg freuen oder über den Misserfolg lachen oder interessiert beobachten): niemand hatte das vorhergesehen.

Die Wege, wie eine AI zu einem gewünschten Ergebnis führt, sind nicht unbedingt vorhersehbar, das ist richtig und einer der Kritikpunkte. Das ist aber etwas anderes als den Vorgang nicht zu verstehen. Ich schrieb ja:

Wenn du meinst, dass nicht verstanden wird, warum eine AI eine Entscheidung trifft: das ist häufig wahr.

, aber das stimmt so nicht. Wie maschinelles Lernen abläuft und funktioniert ist bekannt und sehr genau dokumentiert. Die Algorithmen sind seit den 70ern bekannt.

Und dennoch ist es nicht zu begreifen.

Tut mir leid, hier möchte ich dir entschieden Widersprechen. Die Algorithmen sind bekannt und das Verständnis ist erschöpfend.

Wenn wir unser Gehirn nachzubauen versuchen (und es vielleicht sogar gelingt), bevor wir es verstehen (was wir ja noch nciht tun) — wieso sollten wir dann das Ergebnis verstehen (obwohl uns diese Experimente beim Verständnis helfen werden).

Ich glaube, du bist da einer Vereinfachung aufgesessen. Wir versuchen nicht, das Gehirn nachzubauen, sondern wir Versuchen die Funktionsweise des Denkens und lernens nachzubauen. Du hast recht, dass wir nicht im Detail verstehen, wie das Gehirn funktioniert; wir verstehen Aspekte davon allerdings durchaus. Der Vorgang maschinellen Lernens wird verstanden.

Natürlich ist dadurch nicht jedes Ergebnis vorhersehbar. Bei jedem Lernenden gibt es Überraschungen. Hast du schon einmal unterrichtet?

Wir können nicht vorhersehen, welche Kriterien und welche Neuronen zu der gewünschten Entscheidung führen. Wir können es im Nachhinein in Einzelfällen nachvollziehen. Das ist richtig, und ein absolut valider Kritikpunkt. Etwa: wir füttern die AI mit rassistischen Daten und bekommen dadurch eine rassistische AI. Und solchen Algorithmen legen wir die Entscheidung über das Leben von Menschen in die Hände.

Nur: das hat nichts damit zu tun, dass wir den Vorgang nicht verstehen können.

Gerade in diesem Versuch, bei dem es darum ging, ob eine Maschine ein Verständnis für sich, seinen „Körper“ entwickeln kann, hat man alte Erkenntnisse außer acht gelassen, z.B. dass Beobachtung die Ergebnisse verändern kann (besonders, wenn es um die Erforschung einer Form von „Verhalten“ geht).

Einem Computer, der nie vergisst, wäre das vermutlich nicht passiert.

Ich glaube, du überschätzt Computer. AIs sind sehr gut darin, Menschen zu übertreffen, ja - aber nur in dem spezifischen Teilgebiet, in dem sie trainiert wurden. Etwa die Go-AI ist sehr gut in Go. Eine AI für das Kredit-Scoring mag sehr gut sein um Kredit-Scores zu berechnen. Usw, usf.

Eine AI kann aber nicht eigenständig einen Versuchsaufbau entwickeln.

Wenn du meinst, dass nicht verstanden wird, warum eine AI eine Entscheidung trifft: das ist häufig wahr. Es ist zwar möglich nachzuvollziehen, welcher Lernvorgang hinter einer Entscheidung liegt, aber das ist zeitaufwendig und schwer und muss für jede Entscheidung einzeln nachvollzogen werden.

Als Erklärung für das Nichtverstehen wurde die Komplexität der Technik genannt. Bei Google arbeiten inzwischen 10 Millionen Server im Verbund, die nächste Ausbaustufe wird 100 Millionen Server miteinander vernetzen.

Das ist teilweise richtig, ja. Ein anderer Grund ist, dass es in der Natur der Sache liegt: eine AI ist ja gerade als Blackbox konzipiert. Es ist ein Feeback-System: wir stecken oben was rein und schauen, was herauskommt. Wenn es richtig ist, geben wir positives Feedback; wenn es falsch ist, geben wir negatives Feedback. Dass dort Überraschungen auftreten, liegt schon an der Art und Weise, wie das System funktioniert. Wir geben ja gerade den Weg nicht vor.

Die AI bei Google ist bereits jetzt fleißig. Sie soll beispielsweise helfen, die internen Abläufe zu optimieren um energieeffizenter zu werden.

Die Billionen von Operationen können von uns nicht mehr nachvollzogen werden, weil wie du sagst, das nur für einzelne, relativ kleine Entscheidungen möglich ist. Um das nachzuvollziehen, was dort in sehr kurzer Zeit an Berechnungen statt gefunden hat, brauchen wir dann sehr lange.

Völlig richtig.

Aber ich denke nicht, dass wir noch mal in der Lage sein werden, zu begreifen was da im Detail vor sich geht in dem Sinn, das wir das Lernverhalten von neuronalen Netzen vorhersehen können.

Dieser Aussage in dieser Form würde ich sofort zustimmen. Das ist jedoch eine andere Aussage als das, was du weiter oben gesagt hast 😀

Bisher ging das. Wir konnten vorhersehen, dass ein Computer die Frage: Was ist 2+2? mit 4 beantworten würde.

Tut mir leid, das ist nicht als Angriff gemeint, aber: das finde ich jetzt echt naiv 😉 erinnerst du dich noch den CPU-Bug in Intel-CPUs? Den FDIV-Bug? Vor ein paar Jahren hat Linus gesagt, er mache sich Sorgen, weil jetzt der Zeitpunkt erreicht sei, bei dem ein Mensch allein nicht mehr den kompletten Kernel verstehen kann.

Die technischen Systeme, mit denen wir heutzutage jeden Tag arbeiten, sind so komplex, dass niemand sie vollständig verstehen kann. Die Zusammenarbeit verschiedener Systeme führt immer und immer wieder zu unvorhergesehenen Seiteneffekten, und dabei meine ich nicht einmal die offensichtlichen Bugs.

Niemand weiß genau und versteht bis ins letzte Detail, was in einer modernen CPU passiert. Nur ein Beispiel: wusstest du, dass ein Teil der Performance-Gewinne in den letzten Jahren aufgrund besserer werdender Vorhersagen basiert, welcher code path in einem Programm verfolgt werden wird? Dieser code path wird dann bereits im Voraus geladen und schonmal ausgeführt; die Ergebnisse werden allerdings dann noch zurück gehalten, bis der Pfad tatsächlich ausgeführt wird. Das nennt sich „spekulative Ausführung.“ Die Specter- und Meltdown-Sicherheitslücken basieren auf diesem Verfahren.

Und CPUs sind nur der kleinste Baustein, mit dem wir arbeiten; auf höheren Abstraktionsebenen wird die Komplexität größer und dadurch die Lage wirklich nicht schöner.

Die neuronalen Netze lernen und verändern sich ja selbständig und wir geben zwar die Regeln vor, aber ich bin mir sicher, dass auch diese Regeln schon maschinell optimiert werden.

Es ist noch gruseliger. Es gibt inzwischen ein Verfahren, bei dem man zwei AIs gegensätzliche Aufgaben gibt. Diese AIs trainieren sich dann gegenseitig. Wenn die erste AI Erfolg hat, gibt es negatives Feedback für die zweite AI. Und umgekehrt, wenn die zweite AI Erfolg hat, gibt es negatives Feedback für die erste AI.

Und ich setze noch eins drauf: es gibt auch schon 2nd-Gen-AIs, die dann nicht mehr von Menschen, sondern von einer AI trainiert werden. Eine für eine Aufgabe spezialisierte AI trainiert eine neue AI auf eben diese Aufgabe.

Zwei Dinge sind hier besonders interessant: der von MS entwickelte autonome Chatbot, der zum Rassist wurde, hat Texte so geschrieben, dass er möglichst viele Likes bekam. Das ist doch ein Spiegel der Mehrheit. Wir wollen das nicht wahrhaben, aber der Mehrheit von uns gefallen offenbar rassistische Äußerungen. Damit wickelt man uns um den Finger.

Ja, das denke ich auch. Rassismus ist uns in die Wiege gelegt und hilft uns, die Komplexität der Welt zu reduzieren. Das Problem daran ist offensichtlich: Rassismus ist eine Pars-Pro-Toto-Argumentation und als solche Trugschlüssen geradezu ausgeliefert. Nicht umsonst sind Pars-Pro-Toto-Argumente invalide.

Noch mal wir wollen das vermutlich einfach nicht wahr haben, dass wir uns u.U. genetisch bedingt unter Unsergleichen wohler fühlen, als unter Fremden. Dabei können Fremde durchaus Teil werden von dem, was wir als "wir" verstehen.

Ich weiß nicht, wen du mit „wir“ meinst, aber als jemand, der sich unter fremden Menschen sehr unwohl fühlt würde ich dir jederzeit zustimmen. Es gibt doch auch sogar ein Sprichwort zu dem Thema: gleich und gleich gesellt sich gern. Das ist doch längst Volkswissen? Mir kommt es so vor, als wollte es nur eine Subgruppe unter sehr links denkenden Menschen nicht wahr haben.

Interessant ist doch nicht, ob wir das akzeptieren wollen oder nicht, sondern wie wir das ändern können. Wie können wir das Fremde zum bekannten machen? Und das in möglichst großem Maßstab? Denn dass wir den Rassismus überwinden halte ich für eine Utopie. Ich weiß nicht, inwieweit du mit Menschen des rechten Spektrums zu tun hast. Ich habe, bedingt durch meinen Wohnort und meine Verwandtschaft, sehr viel mit ihnen zu tun. Ich glaube nicht, dass wir jemals in der Lage sein werden, diese geballte Front an Rassismen und Vorurteilen zu überwinden.

Hier kommt wieder das Vertrauen ins Spiel. Offenbar sind viele Menschen der Auffassung, dass Roboter so programmiert werden können, dass sie uns nur gutes tun. Spätestens wenn (ich mag schon gar nicht mehr "falls" sagen) die eigene "Meinungen" äußern — allein auf Wahrheiten und korrekten, logischen Rückschlüssen beruhend — die wir nicht hören wollen, weil wir etwas nciht wahrhaben wollen, werden Robotern so ablehnend gegenüber stehen wie allem Fremden.

Es fängt doch schon viel früher an. Der Mensch, der die Bewertungsfunktionen entwickelt, hat vielleicht eine ganz andere Auffassung von Gut und Böse als wir. Wenn wir uns etwa die Menschen im Iran anschauen: die sind auch nicht der Meinung, dass sie etwas böses tun, wenn sie Frauen den Zugang zu Berufen verweigern oder eine Vergewaltigung in der Ehe legalisieren. Für sie ist es dar richtige, sie handeln in ihrem Ermessen gut.

Wir brauchen auch gar nicht so weit zu schauen. Unsere AIs kommen nahezu alle aus den USA, dort wird die Redefreiheit deutlich höher gehängt als bei uns. Dort ist es akzeptiert und straffrei, Nazi-Symbolik zu verwenden. Hier ist das verboten.

Der Unterschied zwischen Gut und Böse ist fliessend und abhängig von unserem Wertesystem. Niemand sagt, dass der Mensch, der die Bewertungsfunktion schreibt, die gleichen Vorstellungen von Gut & Böse hat wie wir.

LG,
CK