W dzisiejszych czasach dość często słyszy się, że ludzie odnoszą się do nowoczesnych systemów uczenia maszynowego jako „czarnych skrzynek”. Jako przykład rozważmy ostatni odcinek podcastu Sama Harrisa, w którym przeprowadził on wywiad z pionierem AI Stuartem Russellem. Harris pyta:

„Więc, jeśli się nie mylę, większość, jeśli nie wszystkie z tych podejść do głębokiego uczenia się, a nawet bardziej ogólnie podejścia do uczenia maszynowego są zasadniczo czarnymi skrzynkami, w których nie można naprawdę sprawdzić, jak algorytm osiąga to, co osiąga.”

Ale ta metafora jest odpowiednia dla niektórych szczególnych sytuacji, jest to rzeczywiście dość mylące w ogóle, i może być przyczyną znacznej ilości zamieszania. Jak zobaczymy, system głębokiego uczenia się nie jest czarną skrzynką; nawet rozwój takiego systemu nie musi być czarną skrzynką. Prawdziwym wyzwaniem jest jednak to, że obie te rzeczy są złożone i niekoniecznie dobrze rozumiane. Tutaj chcę spróbować wyjaśnić niektóre z tych idei, a jednocześnie zastanowić się, co rozumiemy przez wyjaśnienia.

Jak wyjaśnię poniżej, wierzę, że zamieszanie wynika przynajmniej częściowo z błędnych przekonań, jakie ludzie mają na temat tego, jak te systemy działają. Kiedy ludzie sięgają po metaforę czarnej skrzynki, to, co wydają się wyrażać, to fakt, że trudno jest nadać sens celowi różnych komponentów modelu uczenia maszynowego. Choć rzeczywiście jest to trudne, chcę argumentować, że jest to również nierealistyczne oczekiwanie. Po drodze postaram się wyjaśnić różnicę między modelami i sposobem ich szkolenia, omówię scenariusze, w których metafora czarnej skrzynki jest odpowiednia, i zasugeruję, że na wiele sposobów to ludzie są prawdziwymi czarnymi skrzynkami, przynajmniej jeśli chodzi o uczenie maszynowe.

Wyjaśnienia

Na początek warto zastanowić się, co ludzie mają na myśli, kiedy mówią o wyjaśnieniach. Nie jest to bynajmniej pytanie trywialne, ale wydaje się, że istnieją co najmniej dwa szczególnie istotne sposoby myślenia o tym.

Kiedy pytamy kogoś o wyjaśnienie, dlaczego coś zrobił („Dlaczego zrobiłeś X?”), działamy na pewnym zestawie założeń tła. W przypadku decyzji, która została starannie podjęta, zazwyczaj zakładamy, że dana osoba miała jakiś dobry powód, aby postąpić tak, jak postąpiła i w zasadzie pytamy o proces rozumowania, którego użyła do podjęcia decyzji. Na przykład, możemy oczekiwać, że ważyli za i przeciw i wybrali sposób działania w oparciu o oczekiwanie, że doprowadzi to do jakiegoś konkretnego wyniku.

Kiedy pytamy o to, dlaczego coś poszło nie tak, dla kontrastu, zamiast tego pytamy o rodzaj post-hoc wyjaśnienia niepowodzenia. Na przykład, po wypadku samochodowym, możemy chcieć wyjaśnienia, co spowodowało wypadek. Czy kierowca był roztargniony? Czy inny samochód spowodował, że skręcił? Zamiast procesu rozumowania, pytamy, mniej lub bardziej, o krytyczny bodziec, który spowodował szczególną reakcję wykraczającą poza normalne zachowanie.

Gdy ludzie myślą o sztucznej inteligencji, zazwyczaj wydają się mieć na myśli pierwszy rodzaj wyjaśnienia. Oczekiwanie jest takie, że system dokonał deliberacji i wybrał sposób działania w oparciu o oczekiwany wynik. Chociaż istnieją przypadki, w których jest to możliwe, coraz częściej widzimy ruch w kierunku systemów, które są bardziej podobne do drugiego przypadku; to znaczy, otrzymują bodźce, a następnie po prostu reagują.

Istnieją ku temu bardzo dobre powody (nie tylko dlatego, że świat jest skomplikowany), ale oznacza to, że trudniej jest zrozumieć powody, dla których dana decyzja została podjęta, lub dlaczego skończyliśmy z takim, a nie innym modelem. Mając to na uwadze, zagłębmy się w to, co rozumiemy przez model i metaforę czarnej skrzynki.

Skrzynki i modele

Metafora czarnej skrzynki pochodzi z wczesnych dni cybernetyki i behawioryzmu, i zazwyczaj odnosi się do systemu, dla którego możemy tylko obserwować wejścia i wyjścia, ale nie wewnętrzne funkcjonowanie. W rzeczy samej, w ten właśnie sposób B.F. Skinner konceptualizował umysły w ogóle. Chociaż udało mu się wykazać, że pewne wyuczone zachowania można wyjaśnić za pomocą sygnału wzmocnienia, który łączy pewne wejścia z pewnymi wyjściami, to potem popełnił słynny błąd myśląc, że ta teoria może łatwo wyjaśnić wszystkie ludzkie zachowania, w tym język.

Jako prostszy przykład czarnej skrzynki, rozważ eksperyment myślowy Skinnera: dostajesz skrzynkę z zestawem wejść (przełączniki i przyciski) i zestawem wyjść (światła, które są albo włączone albo wyłączone). Manipulując wejściami, jesteśmy w stanie obserwować odpowiadające im wyjścia, ale nie możemy zajrzeć do środka, by zobaczyć, jak działa pudełko. W najprostszym przypadku, takim jak włącznik światła w pokoju, łatwo jest stwierdzić z dużą pewnością, że włącznik kontroluje poziom światła. Jednak w przypadku wystarczająco złożonego systemu, określenie sposobu działania pudełka poprzez wypróbowanie różnych kombinacji może być niemożliwe.

Teraz wyobraź sobie, że możesz otworzyć pudełko i zajrzeć do środka. Dostajesz nawet pełny schemat połączeń elektrycznych, pokazujący jakie są wszystkie komponenty i jak są połączone. Co więcej, żaden z komponentów nie jest skomplikowany sam w sobie; wszystko jest zbudowane z prostych elementów, takich jak rezystory i kondensatory, z których każdy ma zachowanie, które jest dobrze rozumiane w izolacji. Teraz nie tylko masz dostęp do pełnej specyfikacji wszystkich komponentów w systemie, ale możesz nawet przeprowadzić eksperymenty, aby zobaczyć, jak każdy z różnych komponentów reaguje na poszczególne wejścia.

Możesz pomyśleć, że mając te wszystkie informacje w ręku, będziesz teraz w stanie podać dobre wyjaśnienie, jak działa pudełko. W końcu każdy pojedynczy element jest zrozumiały i nie ma żadnej ukrytej informacji. Niestety, złożoność powstaje w wyniku interakcji wielu prostych elementów. Dla wystarczająco złożonego systemu jest mało prawdopodobne, abyś był w stanie przewidzieć, jakie będzie wyjście z pudełka dla danego wejścia, bez przeprowadzenia eksperymentu, aby się tego dowiedzieć. The jedyny wyjaśnienie dla dlaczego the pudełko robić co ono robić być że wszystkie the składnik podążać the reguła który rządzić ich indywidualny zachowanie, i the ogólny zachowanie wyłaniać od ich interakcja.

Even znacząco, poza the jak the system, ty prawdopodobnie być przy strata dlaczego każdy składnik umieszczać dokąd ono być, nawet jeżeli ty znać the ogólny purpose the system. Biorąc pod uwagę, że pudełko zostało zaprojektowane w jakimś celu, zakładamy, że każdy komponent został dodany z jakiegoś powodu. Jednak w przypadku szczególnie sprytnego systemu każdy komponent może pełnić wiele ról, tak jak w przypadku DNA. Chociaż może to prowadzić do powstania bardzo wydajnego systemu, sprawia również, że bardzo trudno jest nawet myśleć o podsumowaniu celu każdego komponentu. Innymi słowy, to jak system jest całkowicie przejrzysty, ale to dlaczego jest potencjalnie niezgłębione.

To, jak się okazuje, jest idealną metaforą dla głębokiego uczenia. Ogólnie rzecz biorąc, cały system jest otwarty do wglądu. Co więcej, składa się on w całości z prostych komponentów, które łatwo zrozumieć w izolacji. Jednak nawet jeśli znamy cel całego systemu, niekoniecznie istnieje proste wyjaśnienie, które możemy zaoferować, jak system działa, inne niż to, że każdy pojedynczy komponent działa zgodnie z własnymi regułami, w odpowiedzi na dane wejściowe. To, w rzeczy samej, jest prawdziwym wyjaśnieniem tego, jak działa system, i jest to całkowicie przejrzyste. Trudniejszym pytaniem jest oczywiście, dlaczego każdy komponent przyjął taką rolę, jaką przyjął. Aby zrozumieć to dalej, pomocne będzie oddzielenie idei modelu od algorytmu używanego do jego trenowania.

Modele i algorytmy

Aby naprawdę wejść w szczegóły, musimy być nieco bardziej precyzyjni co do tego, o czym mówimy. Harris odnosi się do „tego, jak algorytm osiąga to, co osiąga”, ale tak naprawdę są tu dwie części: model – taki system głębokiego uczenia – i algorytm uczenia – którego używamy do dopasowania modelu do danych. Kiedy Harris odnosi się do „algorytmu”, przypuszczalnie mówi o modelu, niekoniecznie o tym, jak został przeszkolony.

Co dokładnie mamy na myśli mówiąc o modelu? Choć może nieco niejasny, model statystyczny zasadniczo ujmuje założenia, które przyjmujemy na temat tego, jak rzeczy działają w świecie, ze szczegółami, które należy poznać na podstawie danych. W szczególności, model określa, jakie są dane wejściowe, jakie są dane wyjściowe i typowo, jak myślimy, że dane wejściowe mogą oddziaływać ze sobą w generowaniu danych wyjściowych.

Klasycznym przykładem modelu są równania, które rządzą grawitacją Newtona. Model ten stwierdza, że wynik (siła grawitacji pomiędzy dwoma obiektami) jest określony przez trzy wartości wejściowe: masę pierwszego obiektu, masę drugiego obiektu i odległość pomiędzy nimi. Dokładniej, stwierdza on, że siła grawitacji będzie proporcjonalna do iloczynu dwóch mas podzielonych przez odległość podniesioną do kwadratu. Krytycznie, nie wyjaśnia, dlaczego te czynniki powinny być czynnikami wpływającymi na grawitację; próbuje jedynie dostarczyć parsymoniczne wyjaśnienie, które pozwala nam przewidzieć grawitację dla każdej sytuacji.

Oczywiście, nawet gdyby było to całkowicie poprawne, aby móc dokonać przewidywań, musimy również znać odpowiedni współczynnik skalowania, G. W zasadzie jednak powinno być możliwe poznanie tej wartości poprzez obserwację. Jeśli założyliśmy poprawny (lub zbliżony do poprawnego) model tego, jak rzeczy działają w rzeczywistości, mamy duże szanse, że będziemy w stanie poznać odpowiednie szczegóły z danych.

W przypadku grawitacji oczywiście Einstein ostatecznie pokazał, że model Newtona był tylko w przybliżeniu poprawny, i że zawodzi w ekstremalnych warunkach. Dla większości okoliczności model Newtona jest jednak wystarczająco dobry, dlatego ludzie byli w stanie nauczyć się stałej G= 6.674×10^(-11) N – (m/kg)², i używać jej do przewidywań.

Model Einsteina jest znacznie bardziej złożony, z większą ilością szczegółów, które można poznać poprzez obserwację. W większości okoliczności, daje w przybliżeniu takie same przewidywania jak model Newtona, ale jest bardziej dokładny w ekstremalnych okolicznościach, i oczywiście był niezbędny w rozwoju technologii, takich jak GPS. Jeszcze bardziej imponujące jest to, że wtórne przewidywania względności były zdumiewające, z powodzeniem przewidując, na przykład, istnienie czarnych dziur, zanim jeszcze mogliśmy mieć nadzieję na sprawdzenie ich istnienia. A jednak wiemy, że model Einsteina również nie jest całkowicie poprawny, ponieważ nie zgadza się z modelami mechaniki kwantowej w jeszcze bardziej ekstremalnych warunkach.

Grawitacja, oczywiście, jest deterministyczna (na tyle, na ile wiemy). W uczeniu maszynowym i statystyce, dla kontrastu, zazwyczaj mamy do czynienia z modelami, które zawierają niepewność lub losowość. Na przykład prosty model tego, jak długo będziesz żył, polegałby po prostu na przewidywaniu średniej populacji dla kraju, w którym mieszkasz. Lepszy model mógłby brać pod uwagę istotne czynniki, takie jak aktualny stan zdrowia, geny, ilość ćwiczeń, palenie papierosów itp. W prawie każdym przypadku będzie jednak istniała niepewność co do przewidywań, ponieważ nie znamy wszystkich istotnych czynników. (Różni się to oczywiście od pozornej prawdziwej losowości, która występuje na poziomie subatomowym, ale nie będziemy się tutaj martwić tą różnicą).

Oprócz tego, że jest to niezwykle udana rebranding sieci neuronowych i uczenia maszynowego (sama w sobie prawdopodobnie dość udana rebranding statystyki), termin głębokie uczenie odnosi się do szczególnego rodzaju modelu, takiego, w którym dane wyjściowe są wynikami serii wielu prostych transformacji zastosowanych do danych wejściowych (bardzo podobnie jak nasz schemat elektryczny z góry). Choć modele głębokiego uczenia są z pewnością złożone, nie są to czarne skrzynki. W rzeczywistości bardziej trafne byłoby określenie ich mianem szklanych pudełek, ponieważ możemy dosłownie zajrzeć do środka i zobaczyć, co robi każdy komponent.

Problemem jest oczywiście to, że systemy te są również skomplikowane. Jeśli podam ci prosty zestaw reguł, których należy przestrzegać, aby dokonać przewidywań, tak długo, jak nie ma zbyt wielu reguł, a same reguły są proste, możesz całkiem łatwo rozgryźć w swoim umyśle pełen zestaw mapowań wejścia-wyjścia. Jest to również prawdziwe, choć w mniejszym stopniu, z klasą modeli znanych jako modele liniowe, gdzie efekt zmiany jednego wejścia może być interpretowany bez wiedzy o wartości innych wejść.

Modele głębokiego uczenia się, dla kontrastu, zazwyczaj zawierają nieliniowości i interakcje między wejściami, co oznacza, że nie tylko nie ma prostego odwzorowania od wejścia do wyjścia, ale efekt zmiany jednego wejścia może zależeć krytycznie od wartości innych wejść. To czyni go bardzo trudnym do mentalnego rozgryzienia, co się dzieje, ale szczegóły są niemniej przejrzyste i całkowicie otwarte do kontroli.

Rzeczywiste obliczenia wykonywane przez te modele w tworzeniu przewidywań są zazwyczaj dość proste; gdzie rzeczy stają się trudne jest w rzeczywistym uczeniu się parametrów modelu z danych. Jak opisano powyżej, po założeniu pewnej formy modelu (w tym przypadku elastycznej sieci neuronowej), musimy następnie spróbować znaleźć dobre wartości parametrów na podstawie danych.

W przykładzie grawitacji, po założeniu „wystarczająco dobrego” modelu (proporcjonalnego do masy i odwrotnie proporcjonalnego do kwadratu odległości), musimy tylko rozwiązać wartość jednego parametru (G), poprzez dopasowanie modelu do obserwacji. Z nowoczesnymi systemami głębokiego uczenia się, dla kontrastu, mogą być łatwo miliony takich parametrów do nauczenia.

W praktyce, prawie wszystkie te modele głębokiego uczenia się są szkolone przy użyciu jakiegoś wariantu algorytmu zwanego stochastycznym zejściem gradientowym (SGD), który pobiera losowe próbki z danych szkoleniowych i stopniowo dostosowuje wszystkie parametry, aby przewidywane wyjście było bardziej podobne do tego, co chcemy. Dokładnie, dlaczego działa tak dobrze, jak to robi, wciąż nie jest dobrze rozumiane, ale główną rzeczą, o której należy pamiętać, jest to, że to również jest przejrzyste.

Ponieważ jest zwykle inicjowany z losowymi wartościami dla wszystkich parametrów, SGD może prowadzić do różnych parametrów za każdym razem, gdy go uruchomimy. Sam algorytm jest jednak deterministyczny i gdybyśmy użyli tej samej inicjalizacji i tych samych danych, dałby taki sam wynik. Innymi słowy, ani model, ani algorytm nie są czarnymi skrzynkami.

Choć jest to nieco niesatysfakcjonujące, pełna odpowiedź na pytanie, dlaczego system uczenia maszynowego zrobił coś, ostatecznie leży w kombinacji założeń, które przyjęliśmy przy projektowaniu modelu, danych, na których był trenowany, i różnych decyzji podjętych na temat sposobu uczenia się parametrów, w tym losowości w inicjalizacji.

Powrót do czarnych skrzynek

Dlaczego to wszystko ma znaczenie? Cóż, istnieją co najmniej dwa sposoby, w których koncepcja czarnych skrzynek jest bardzo istotna dla uczenia maszynowego.

Po pierwsze, istnieje mnóstwo algorytmów i systemów oprogramowania (i nie tylko tych opartych na uczeniu maszynowym), które są czarnymi skrzynkami, jeśli chodzi o użytkownika. Jest to prawdopodobnie najczęściej spotykane w przypadku oprogramowania własnościowego, gdzie użytkownik nie ma dostępu do wewnętrznego funkcjonowania, a wszystko co widzimy to wejścia i wyjścia. Jest to rodzaj systemu, który ProPublica opisała w swoim raporcie na temat algorytmów wyroków sądowych (konkretnie systemu COMPAS firmy Northpointe). W tym przypadku znamy dane wejściowe i możemy zobaczyć oceny ryzyka, które zostały przyznane ludziom jako dane wyjściowe. Nie mamy jednak dostępu do algorytmu używanego przez firmę, ani do danych, na których był szkolony. Niemniej jednak, można bezpiecznie powiedzieć, że ktoś ma dostęp do szczegółów – przypuszczalnie pracownicy firmy – i bardzo prawdopodobne, że jest to dla nich całkowicie przejrzyste.

Drugi sposób, w jaki metafora czarnych skrzynek jest istotna jest w odniesieniu do systemów, których staramy się nauczyć, takich jak ludzki wzrok. Pod pewnymi względami ludzkie zachowanie jest niezwykle przejrzyste, ponieważ możemy zapytać ludzi, dlaczego coś zrobili, i uzyskać wyjaśnienia. Istnieją jednak powody, by sądzić, że nie zawsze znamy prawdziwe powody rzeczy, które robimy. Wcale nie jesteśmy przezroczyści dla samych siebie, po prostu nie mamy świadomego dostępu do wielu wewnętrznych procesów, które rządzą naszym zachowaniem. Jeśli zostaniemy poproszeni o wyjaśnienie, dlaczego coś zrobiliśmy, możemy być w stanie przedstawić narrację, która przynajmniej przekaże nam, jak czuliśmy się w trakcie procesu podejmowania decyzji. Jeśli zostaniemy poproszeni o wyjaśnienie, jak jesteśmy w stanie rozpoznać obiekty, dla kontrastu, możemy myśleć, że możemy dostarczyć jakiegoś wyjaśnienia (coś związanego z krawędziami i kolorami), ale w rzeczywistości ten proces działa znacznie poniżej poziomu świadomości.

Ale istnieją szczególne okoliczności, w których możemy faktycznie sprawdzić wewnętrzne działanie systemów ludzkich lub innych ssaków, takich jak eksperymenty neurobiologiczne, ogólnie rzecz biorąc, staramy się używać uczenia maszynowego do naśladowania ludzkiego zachowania, używając tylko danych wejściowych i wyjściowych. Innymi słowy, z perspektywy systemu uczenia maszynowego człowiek jest czarną skrzynką.

Wniosek

W podsumowaniu warto zastanowić się, czego chcą ludzie, gdy myślą o systemach, które nie są czarnymi skrzynkami. Ludzie zazwyczaj wyobrażają sobie coś takiego, jak scenariusz, w którym samokierujący się samochód zjechał z drogi, a my chcemy wiedzieć dlaczego. W popularnej wyobraźni, oczekiwanie wydaje się być takie, że samochód musiał ocenić możliwe wyniki, przypisać im prawdopodobieństwo i wybrać ten z najlepszą szansą na maksymalizację jakiegoś lepszego wyniku, gdzie lepsze jest określone zgodnie z jakąś moralnością, która została zaprogramowana w nim.

W rzeczywistości, jest wysoce nieprawdopodobne, że tak właśnie rzeczy będą działać. Raczej, jeśli zapytamy samochód, dlaczego zrobił to, co zrobił, odpowiedź będzie, że zastosował przejrzyste i deterministyczne obliczenia przy użyciu wartości swoich parametrów, biorąc pod uwagę jego aktualne dane wejściowe, a to określiło jego działania. Jeśli zapytamy, dlaczego miał te szczególne parametry, odpowiedź będzie, że są one wynikiem modelu, który został wybrany, dane, na których został przeszkolony, i szczegóły algorytmu uczenia się, który został użyty.

To wydaje się frustrująco niepomocne, i łatwo jest zobaczyć, dlaczego ludzie sięgają po metaforę czarnej skrzynki. Weźmy jednak pod uwagę, że w rzeczywistości nie mamy tego rodzaju dostępu do systemów, które próbujemy naśladować. Jeśli zapytamy ludzkiego kierowcę, dlaczego zjechał z drogi, prawdopodobnie będzie on w stanie odpowiedzieć w języku i podać jakieś informacje o sobie – że był pijany, rozkojarzony, musiał skręcić, albo oślepiła go pogoda – a jednak poza zapewnieniem pewnego rodzaju narracyjnej spójności, tak naprawdę nie wiemy, dlaczego to zrobił i oni też nie wiedzą. Przynajmniej dzięki uczeniu maszynowemu możemy odtworzyć tę samą scenerię i zbadać jej stan wewnętrzny. Może to być skomplikowane do zrozumienia, ale nie jest to czarna skrzynka.