Heutzutage ist es üblich geworden, moderne maschinelle Lernsysteme als „Black Box“ zu bezeichnen. Ein Beispiel dafür ist eine kürzlich erschienene Folge des Sam Harris Podcasts, in der er den KI-Pionier Stuart Russell interviewte. Harris fragt:

„Wenn ich mich nicht irre, sind die meisten, wenn nicht sogar alle dieser Deep-Learning-Ansätze oder ganz allgemein maschinelle Lernansätze im Wesentlichen Black Boxes, bei denen man nicht wirklich überprüfen kann, wie der Algorithmus das erreicht, was er erreicht.“

Obwohl diese Metapher für einige bestimmte Situationen angemessen ist, ist sie im Allgemeinen ziemlich irreführend und kann zu einer erheblichen Verwirrung führen. Wie wir noch sehen werden, ist ein Deep-Learning-System keine Blackbox; auch die Entwicklung eines solchen Systems muss keine Blackbox sein. Die eigentliche Herausforderung besteht jedoch darin, dass diese beiden Dinge komplex sind und nicht unbedingt gut verstanden werden. Im Folgenden möchte ich versuchen, einige dieser Ideen zu klären und gleichzeitig darüber nachzudenken, was wir mit Erklärungen meinen.

Wie ich weiter unten erläutern werde, glaube ich, dass die Verwirrung zumindest teilweise von den falschen Vorstellungen herrührt, die die Menschen von der Funktionsweise dieser Systeme haben. Wenn Menschen zur Blackbox-Metapher greifen, scheinen sie die Tatsache auszudrücken, dass es schwierig ist, den Zweck der verschiedenen Komponenten eines maschinellen Lernmodells zu verstehen. Obwohl dies in der Tat schwierig ist, möchte ich argumentieren, dass dies auch eine unrealistische Erwartung ist. Dabei werde ich versuchen, den Unterschied zwischen Modellen und deren Training zu erklären, Szenarien zu erörtern, in denen die Blackbox-Metapher angebracht ist, und vorzuschlagen, dass in vielerlei Hinsicht der Mensch die eigentliche Blackbox ist, zumindest was das maschinelle Lernen betrifft.

Erklärungen

Zu Beginn ist es sinnvoll, darüber nachzudenken, was die Menschen meinen, wenn sie von Erklärungen sprechen. Das ist keineswegs eine triviale Frage, aber es scheint mindestens zwei besonders relevante Arten zu geben, darüber nachzudenken.

Wenn wir jemanden um eine Erklärung bitten, warum er etwas getan hat („Warum hast du X getan?“), gehen wir von einer bestimmten Anzahl von Hintergrundannahmen aus. Im Falle einer sorgfältig getroffenen Entscheidung gehen wir in der Regel davon aus, dass der Betreffende gute Gründe für sein Handeln hatte, und wir fragen im Grunde nach dem Denkprozess, den er für seine Entscheidung verwendet hat. Wir könnten zum Beispiel erwarten, dass sie die Vor- und Nachteile abgewägt und sich für eine Vorgehensweise entschieden haben, von der sie sich ein bestimmtes Ergebnis versprachen.

Wenn wir nach den Gründen fragen, warum etwas schief gelaufen ist, fragen wir stattdessen nach einer Art post-hoc-Erklärung für das Scheitern. Nach einem Autounfall zum Beispiel möchten wir vielleicht eine Erklärung für die Ursache des Unfalls. War der Fahrer abgelenkt? Hat ein anderes Auto ihn zum Ausweichen veranlasst? Statt nach einem Denkprozess fragen wir mehr oder weniger nach dem kritischen Reiz, der eine bestimmte Reaktion außerhalb des normalen Verhaltens ausgelöst hat.

Wenn Menschen über künstliche Intelligenz nachdenken, scheinen sie in der Regel die erste Art von Erklärung im Sinn zu haben. Man geht davon aus, dass das System eine Überlegung angestellt und sich aufgrund des erwarteten Ergebnisses für eine bestimmte Vorgehensweise entschieden hat. Es gibt zwar Fälle, in denen dies möglich ist, aber wir beobachten zunehmend eine Entwicklung hin zu Systemen, die eher dem zweiten Fall ähneln, d. h. sie erhalten Reize und reagieren dann einfach.

Dafür gibt es sehr gute Gründe (nicht zuletzt, weil die Welt kompliziert ist), aber es bedeutet, dass es schwieriger ist, die Gründe zu verstehen, warum eine bestimmte Entscheidung getroffen wurde oder warum wir ein bestimmtes Modell im Gegensatz zu einem anderen gewählt haben. Vor diesem Hintergrund wollen wir uns näher mit dem Begriff „Modell“ und der Metapher der „Black Box“ befassen.

Boxen und Modelle

Die Metapher der „Black Box“ geht auf die Anfänge der Kybernetik und des Behaviorismus zurück und bezieht sich in der Regel auf ein System, bei dem wir nur die Inputs und Outputs, nicht aber die internen Abläufe beobachten können. Dies war in der Tat die Art und Weise, in der B. F. Skinner den Verstand im Allgemeinen konzeptualisierte. Obwohl er erfolgreich demonstrierte, wie bestimmte erlernte Verhaltensweisen durch ein Verstärkungssignal erklärt werden können, das bestimmte Eingaben mit bestimmten Ausgaben verknüpft, beging er den berühmten Fehler zu denken, dass diese Theorie das gesamte menschliche Verhalten, einschließlich der Sprache, leicht erklären könnte.

Als einfacheres Beispiel für eine Black Box kann man ein Gedankenexperiment von Skinner betrachten: Man erhält eine Box mit einer Reihe von Eingaben (Schalter und Knöpfe) und einer Reihe von Ausgaben (Lichter, die entweder an oder aus sind). Wenn Sie die Eingänge manipulieren, können Sie die entsprechenden Ausgänge beobachten, aber Sie können nicht in das Innere schauen, um zu sehen, wie der Kasten funktioniert. Im einfachsten Fall, z. B. bei einem Lichtschalter in einem Raum, kann man mit großer Sicherheit feststellen, dass der Schalter die Lichtstärke steuert. Bei einem hinreichend komplexen System kann es jedoch praktisch unmöglich sein, durch Ausprobieren verschiedener Kombinationen festzustellen, wie der Kasten funktioniert.

Stellen Sie sich nun vor, Sie dürfen den Kasten öffnen und hineinschauen. Sie erhalten sogar einen vollständigen Schaltplan, aus dem hervorgeht, was alle Komponenten sind und wie sie miteinander verbunden sind. Außerdem ist keines der Bauteile an sich komplex; alles ist aus einfachen Bauteilen wie Widerständen und Kondensatoren aufgebaut, von denen jedes einzelne ein Verhalten aufweist, das für sich genommen gut verständlich ist. Jetzt haben Sie nicht nur Zugang zu den vollständigen Spezifikationen aller Komponenten des Systems, sondern können sogar Experimente durchführen, um zu sehen, wie jede der verschiedenen Komponenten auf bestimmte Eingaben reagiert.

Man könnte meinen, dass Sie mit all diesen Informationen nun in der Lage wären, eine gute Erklärung für die Funktionsweise der Box zu geben. Schließlich ist jedes einzelne Bauteil bekannt, und es gibt keine versteckten Informationen. Leider entsteht Komplexität durch das Zusammenspiel vieler einfacher Komponenten. Bei einem hinreichend komplexen System ist es unwahrscheinlich, dass man vorhersagen kann, was die Box bei einer bestimmten Eingabe ausgibt, ohne ein Experiment durchzuführen, um dies herauszufinden. Die einzige Erklärung dafür, warum der Kasten sich so verhält, wie er sich verhält, ist, dass alle Komponenten den Regeln folgen, die ihr individuelles Verhalten regeln, und dass sich das Gesamtverhalten aus ihren Interaktionen ergibt.

Noch wichtiger ist, dass man über das Wie des Systems hinaus wahrscheinlich nicht erklären kann, warum die einzelnen Komponenten dort platziert wurden, wo sie sind, selbst wenn man den Gesamtzweck des Systems kennt. Da die Box für einen bestimmten Zweck entworfen wurde, gehen wir davon aus, dass jede Komponente aus einem bestimmten Grund hinzugefügt wurde. Bei einem besonders ausgeklügelten System kann es jedoch vorkommen, dass jede Komponente mehrere Funktionen übernimmt, wie im Fall der DNA. Dies kann zwar zu einem sehr effizienten System führen, macht es aber auch sehr schwierig, den Zweck jeder Komponente auch nur annähernd zu erfassen. Mit anderen Worten: Das Wie des Systems ist völlig transparent, aber das Warum ist potenziell unergründlich.

Dies ist, wie sich herausstellt, eine perfekte Metapher für Deep Learning. Im Allgemeinen ist das gesamte System einsehbar. Außerdem besteht es ausschließlich aus einfachen Komponenten, die für sich genommen leicht zu verstehen sind. Doch selbst wenn wir den Zweck des Gesamtsystems kennen, können wir nicht unbedingt eine einfache Erklärung dafür liefern, wie das System funktioniert, abgesehen von der Tatsache, dass jede einzelne Komponente als Reaktion auf den Input nach ihren eigenen Regeln arbeitet. Dies ist in der Tat die wahre Erklärung für die Funktionsweise des Systems, und sie ist völlig transparent. Die schwierigere Frage ist natürlich, warum jede Komponente die ihr zugewiesene Rolle übernommen hat. Um dies besser zu verstehen, ist es hilfreich, die Idee eines Modells von dem Algorithmus zu trennen, mit dem es trainiert wird.

Modelle und Algorithmen

Um wirklich ins Detail zu gehen, müssen wir etwas genauer sagen, wovon wir sprechen. Harris spricht davon, „wie der Algorithmus das macht, was er macht“, aber eigentlich gibt es hier zwei Teile: ein Modell – z. B. ein Deep Learning-System – und einen Lernalgorithmus, mit dem wir das Modell an die Daten anpassen. Wenn Harris von „dem Algorithmus“ spricht, meint er vermutlich das Modell und nicht unbedingt, wie es trainiert wurde.

Was genau verstehen wir unter einem Modell? Ein statistisches Modell, auch wenn es vielleicht etwas vage ist, fasst im Grunde die Annahmen zusammen, die wir darüber machen, wie die Dinge in der Welt funktionieren, wobei die Details aus den Daten gelernt werden müssen. Insbesondere gibt ein Modell an, was die Eingaben sind, was die Ausgaben sind und wie die Eingaben unserer Meinung nach bei der Erzeugung der Ausgabe zusammenwirken.

Ein klassisches Beispiel für ein Modell sind die Gleichungen, die die Newtonsche Gravitation regeln. Das Modell besagt, dass das Ergebnis (die Schwerkraft zwischen zwei Objekten) durch drei Eingabewerte bestimmt wird: die Masse des ersten Objekts, die Masse des zweiten Objekts und den Abstand zwischen ihnen. Genauer gesagt besagt es, dass die Schwerkraft proportional zum Produkt der beiden Massen, geteilt durch das Quadrat des Abstands, ist. Kritisch anzumerken ist, dass sie nicht erklärt, warum diese Faktoren die Faktoren sein sollten, die die Schwerkraft beeinflussen; sie versucht lediglich, eine schlüssige Erklärung zu liefern, die es uns ermöglicht, die Schwerkraft für jede Situation vorherzusagen.

Natürlich, selbst wenn dies völlig korrekt wäre, müssen wir, um eine Vorhersage machen zu können, auch den entsprechenden Skalierungsfaktor, G, kennen. Wenn wir von einem korrekten (oder annähernd korrekten) Modell für die Funktionsweise der Dinge in der Realität ausgehen, haben wir gute Chancen, die relevanten Details aus den Daten zu erfahren.

Im Fall der Schwerkraft zeigte Einstein schließlich, dass das Newtonsche Modell nur annähernd korrekt war und unter extremen Bedingungen versagte. Für die meisten Umstände ist das Newtonsche Modell jedoch gut genug, weshalb die Menschen in der Lage waren, die Konstante G= 6,674×10^(-11) N – (m/kg)² zu lernen und sie für Vorhersagen zu verwenden.

Einsteins Modell ist viel komplexer, mit mehr Details, die durch Beobachtung gelernt werden müssen. In den meisten Fällen liefert es annähernd die gleichen Vorhersagen wie das Newtonsche Modell, ist aber unter extremen Umständen genauer und war natürlich für die Entwicklung von Technologien wie GPS von wesentlicher Bedeutung. Noch beeindruckender sind die sekundären Vorhersagen der Relativitätstheorie, die beispielsweise die Existenz schwarzer Löcher vorhersagen, bevor wir sie überhaupt nachweisen können. Und doch wissen wir, dass auch Einsteins Modell nicht ganz korrekt ist, da es unter noch extremeren Bedingungen nicht mit den Modellen der Quantenmechanik übereinstimmt.

Gravitation ist natürlich deterministisch (soweit wir wissen). Beim maschinellen Lernen und in der Statistik haben wir es dagegen in der Regel mit Modellen zu tun, die Unsicherheit oder Zufall beinhalten. Ein einfaches Modell für die Lebenserwartung wäre zum Beispiel die Vorhersage des Durchschnitts der Bevölkerung des Landes, in dem Sie leben. Ein besseres Modell könnte relevante Faktoren berücksichtigen, wie z. B. Ihren aktuellen Gesundheitszustand, Ihre Gene, wie viel Sie sich bewegen, ob Sie Zigaretten rauchen oder nicht usw. In so gut wie jedem Fall wird die Vorhersage jedoch mit einer gewissen Unsicherheit behaftet sein, da wir nicht alle relevanten Faktoren kennen. (Dies unterscheidet sich natürlich von der scheinbar echten Zufälligkeit, die auf subatomarer Ebene auftritt, aber um diesen Unterschied werden wir uns hier nicht kümmern).

Der Begriff „Deep Learning“ ist nicht nur eine unglaublich erfolgreiche Umbenennung von neuronalen Netzen und maschinellem Lernen (die ihrerseits wohl eine ziemlich erfolgreiche Umbenennung der Statistik ist), sondern bezieht sich auch auf eine bestimmte Art von Modell, bei dem die Ergebnisse das Ergebnis einer Reihe von vielen einfachen Transformationen sind, die auf die Eingaben angewandt werden (ähnlich wie unser Schaltplan von oben). Obwohl Deep-Learning-Modelle sicherlich komplex sind, sind sie keine Blackboxen. Tatsächlich wäre es genauer, sie als Glaskästen zu bezeichnen, denn wir können buchstäblich hineinschauen und sehen, was jede Komponente tut.

Das Problem ist natürlich, dass diese Systeme auch kompliziert sind. Wenn ich Ihnen einen einfachen Satz von Regeln gebe, die Sie befolgen müssen, um eine Vorhersage zu treffen, könnten Sie, solange es nicht zu viele Regeln gibt und die Regeln selbst einfach sind, ziemlich leicht den gesamten Satz von Input-Output-Zuordnungen in Ihrem Kopf herausfinden. Dies gilt auch, wenn auch in geringerem Maße, für eine Klasse von Modellen, die als lineare Modelle bekannt sind, bei denen die Auswirkungen der Änderung einer beliebigen Eingabe interpretiert werden können, ohne den Wert anderer Eingaben zu kennen.

Die Modelle des tiefen Lernens hingegen beinhalten typischerweise Nichtlinearitäten und Wechselwirkungen zwischen Eingaben, was bedeutet, dass es nicht nur keine einfache Zuordnung von Eingaben zu Ausgaben gibt, sondern dass die Auswirkungen der Änderung einer Eingabe entscheidend von den Werten anderer Eingaben abhängen können. Das macht es sehr schwer, geistig herauszufinden, was vor sich geht, aber die Details sind dennoch transparent und können vollständig eingesehen werden.

Die eigentliche Berechnung, die von diesen Modellen bei der Erstellung einer Vorhersage durchgeführt wird, ist in der Regel recht einfach; schwierig wird es beim eigentlichen Lernen der Modellparameter aus Daten. Wie oben beschrieben, müssen wir, sobald wir eine bestimmte Form für ein Modell angenommen haben (in diesem Fall ein flexibles neuronales Netz), versuchen, aus den Daten gute Werte für die Parameter zu ermitteln.

Im Beispiel der Schwerkraft müssen wir, sobald wir ein „gutes“ Modell angenommen haben (proportional zur Masse und umgekehrt proportional zum Abstand im Quadrat), nur noch den Wert eines Parameters (G) bestimmen, indem wir das Modell an die Beobachtungen anpassen. Bei modernen Deep-Learning-Systemen hingegen können leicht Millionen solcher Parameter erlernt werden.

In der Praxis werden fast alle diese Deep-Learning-Modelle mit einer Variante eines Algorithmus namens stochastischer Gradientenabstieg (SGD) trainiert, der Zufallsstichproben aus den Trainingsdaten nimmt und nach und nach alle Parameter so anpasst, dass die vorhergesagte Ausgabe eher dem entspricht, was wir wollen. Warum dieser Algorithmus so gut funktioniert, ist noch nicht ganz klar, aber das Wichtigste ist, dass auch er transparent ist.

Da er in der Regel mit zufälligen Werten für alle Parameter initialisiert wird, kann SGD bei jedem Durchlauf zu anderen Parametern führen. Der Algorithmus selbst ist jedoch deterministisch, und wenn wir die gleiche Initialisierung und die gleichen Daten verwenden würden, würde er das gleiche Ergebnis liefern. Mit anderen Worten, weder das Modell noch der Algorithmus ist eine Blackbox.

Auch wenn es etwas unbefriedigend ist, liegt die vollständige Antwort auf die Frage, warum ein maschinelles Lernsystem etwas getan hat, letztlich in der Kombination der Annahmen, die wir bei der Entwicklung des Modells getroffen haben, der Daten, auf denen es trainiert wurde, und der verschiedenen Entscheidungen, die wir in Bezug auf das Erlernen der Parameter getroffen haben, einschließlich der Zufälligkeit bei der Initialisierung.

Zurück zu Blackboxen

Warum ist das alles wichtig? Nun, es gibt mindestens zwei Möglichkeiten, wie das Konzept der Blackboxen für das maschinelle Lernen von großer Bedeutung ist.

Erstens gibt es viele Algorithmen und Softwaresysteme (und nicht nur solche, die auf maschinellem Lernen basieren), die für den Benutzer Blackboxen sind. Dies ist vielleicht am häufigsten bei proprietärer Software der Fall, bei der der Benutzer keinen Zugang zu den inneren Abläufen hat und alles, was wir zu sehen bekommen, sind die Eingaben und Ausgaben. Dies ist die Art von System, über die ProPublica in seiner Berichterstattung über gerichtliche Verurteilungsalgorithmen berichtet hat (insbesondere das COMPAS-System von Northpointe). In diesem Fall kennen wir die Eingaben, und wir können die Risikobewertungen sehen, die den Menschen als Ergebnis gegeben wurden. Wir haben jedoch keinen Zugang zu dem von dem Unternehmen verwendeten Algorithmus oder zu den Daten, mit denen er trainiert wurde. Dennoch kann man mit Sicherheit sagen, dass jemand Zugang zu den Details hat – vermutlich die Mitarbeiter des Unternehmens – und es ist sehr wahrscheinlich völlig transparent für sie.

Die zweite Art und Weise, in der die Metapher der Blackboxen relevant ist, bezieht sich auf die Systeme, die wir zu erlernen versuchen, wie das menschliche Sehen. In gewisser Hinsicht ist das menschliche Verhalten ungewöhnlich transparent, denn wir können Menschen fragen, warum sie etwas tun, und erhalten Erklärungen. Es gibt jedoch gute Gründe für die Annahme, dass wir nicht immer die wahren Gründe für unsere Handlungen kennen. Wir sind weit davon entfernt, uns selbst gegenüber transparent zu sein, und haben einfach keinen bewussten Zugang zu vielen der internen Prozesse, die unser Verhalten steuern. Wenn wir gefragt werden, warum wir etwas getan haben, können wir vielleicht eine Geschichte erzählen, die zumindest vermittelt, wie sich der Entscheidungsfindungsprozess für uns angefühlt hat. Wenn man uns dagegen fragt, wie wir Objekte erkennen können, denken wir vielleicht, dass wir eine Art Erklärung liefern können (etwas mit Kanten und Farben), aber in Wirklichkeit läuft dieser Prozess weit unterhalb der Bewusstseinsebene ab.

Obgleich es besondere Umstände gibt, unter denen wir das Innenleben menschlicher oder anderer Säugetiersysteme tatsächlich inspizieren können, wie z. B. bei neurowissenschaftlichen Experimenten, versuchen wir im Allgemeinen, mit Hilfe des maschinellen Lernens menschliches Verhalten nachzuahmen, indem wir nur die Eingaben und Ausgaben verwenden. Mit anderen Worten: Aus der Perspektive eines maschinellen Lernsystems ist der Mensch die Blackbox.

Schlussfolgerung

Abschließend ist es sinnvoll, darüber nachzudenken, was Menschen wollen, wenn sie an Systeme denken, die keine Blackboxen sind. Die Menschen stellen sich in der Regel ein Szenario vor, in dem ein selbstfahrendes Auto von der Straße abgekommen ist, und wir wollen wissen, warum. In der allgemeinen Vorstellung scheint die Erwartung zu sein, dass das Auto die möglichen Ergebnisse bewertet, ihnen Wahrscheinlichkeiten zugewiesen und dasjenige gewählt hat, das die besten Chancen auf ein besseres Ergebnis bietet, wobei das bessere Ergebnis durch eine Art von Moral bestimmt wird, die in das Auto einprogrammiert wurde.

In der Realität ist es höchst unwahrscheinlich, dass die Dinge so ablaufen werden. Wenn wir das Auto fragen, warum es das getan hat, was es getan hat, wird die Antwort eher lauten, dass es eine transparente und deterministische Berechnung mit den Werten seiner Parameter und den aktuellen Eingaben durchgeführt hat, und dass dies seine Handlungen bestimmt hat. Wenn wir fragen, warum es diese bestimmten Parameter hatte, lautet die Antwort, dass sie das Ergebnis des gewählten Modells, der Daten, mit denen es trainiert wurde, und der Details des verwendeten Lernalgorithmus sind.

Dies scheint frustrierend und wenig hilfreich zu sein, und es ist leicht zu verstehen, warum die Leute zur Blackbox-Metapher greifen. Bedenken Sie jedoch, dass wir zu den Systemen, die wir zu imitieren versuchen, keinen solchen Zugang haben. Wenn wir einen menschlichen Fahrer fragen, warum er von der Straße abgekommen ist, wird er wahrscheinlich in der Lage sein, in der Sprache zu antworten und etwas über sich selbst zu erzählen – dass er betrunken oder abgelenkt war, ausweichen musste oder vom Wetter geblendet war -, aber abgesehen von einer Art erzählerischer Kohärenz wissen wir nicht wirklich, warum er es getan hat, und sie auch nicht. Zumindest mit maschinellem Lernen können wir dieselbe Situation nachstellen und den inneren Zustand untersuchen. Es mag kompliziert zu verstehen sein, aber es ist keine Blackbox.