最近、現代の機械学習システムを「ブラックボックス」と呼ぶのをよく耳にするようになりました。 例として、Sam Harris のポッドキャストの最近のエピソードで、彼が AI のパイオニアである Stuart Russell にインタビューしたものを考えてみましょう。 Harris は次のように尋ねます。「私が間違っていなければ、これらの深層学習アプローチ、あるいはより一般的な機械学習アプローチのすべてではないにしても、ほとんどは本質的にブラック ボックスであり、アルゴリズムが何を達成しているかを実際に検査することはできません」

この比喩はいくつかの特定の状況には適切ですが、実際には一般的にはかなり誤解を招き、相当量の混乱を引き起こす可能性があります。 これから説明するように、深層学習システムはブラック ボックスではありませんし、そのようなシステムの開発でさえもブラック ボックスである必要はありません。 しかし、本当の課題は、この両者が複雑であり、必ずしもよく理解されていないことです。

以下で説明するように、混乱は少なくとも部分的には、これらのシステムがどのように機能するかについて人々が抱いている誤解から生じていると私は考えています。 人々がブラック ボックスの比喩を使うとき、彼らが表現しているのは、機械学習モデル内のさまざまなコンポーネントの目的を理解することが難しいという事実です。 これは確かに難しいことですが、私はそれが非現実的な期待であることも主張したいと思います。 その過程で、モデルとその学習方法の違いを説明し、ブラックボックスのメタファーが適切なシナリオを議論し、多くの点で、少なくとも機械学習に関する限り、人間が本当のブラックボックスであることを示唆したいと思います。 これは決して些細な問題ではありませんが、これについて考える少なくとも2つの特に関連した方法があるようです。

私たちが誰かに何かをした理由の説明を求めるとき（「なぜXをしたのですか」）、私たちはある背景仮定のセットで操作しています。 慎重に行われた決定の場合、私たちは通常、彼らがそのように行動する何らかの正当な理由があったと仮定しており、基本的に、彼らが決定を下すために使用した推論プロセスを求めているのです。 たとえば、長所と短所を比較検討し、ある特定の結果につながることを期待して行動を選択したと予想されます。

対照的に、何かがうまくいかなかった理由を尋ねる場合、私たちは代わりに失敗の事後的な説明のようなものを求めているのです。 たとえば、自動車事故の後、何が事故を引き起こしたかについて説明を求めることがあります。 ドライバーの注意力散漫か？ 他の車が原因でハンドルを切ったのか？ 1365>

人々が人工知能について考えるとき、一般に最初の種類の説明を念頭に置いているようです。 システムが熟考を重ね、予想される結果に基づいて行動方針を選択することが期待されているのである。 これが可能な場合もありますが、次第に、2 番目のケースに近い、つまり、刺激を受け取ってから反応するだけのシステムへと移行しつつあります。 それを念頭に置いて、モデルとは何を意味するのか、ブラックボックスのメタファーについて掘り下げてみましょう。

ボックスとモデル

ブラックボックスのメタファーは、サイバネティックスと行動主義の初期に遡り、通常、入力と出力のみを観察でき、内部動作は観察できないシステムを指します。 実際、B.F.スキナーが一般に心を概念化したのもこの方法であった。 彼は、ある種の学習行動が、特定の入力を特定の出力に結びつける強化信号によって説明できることを示すことに成功しましたが、その後、この理論が言語を含む人間のすべての行動を簡単に説明できると考えたのは有名な誤りです。

ブラックボックスのもっと簡単な例として、スキナーの思考実験を見てみましょう。 入力を操作すれば、それに対応する出力を観察することができるが、箱の中を覗いて、その仕組みを見ることはできない。 最も単純なケース、例えば部屋の照明のスイッチの場合、スイッチが光量を制御していると確信を持って判断することは容易である。

ここで、箱を開けて中を見ることが許されたと想像してください。 さらに、すべての部品が何であり、どのように接続されているかを示す完全な配線図も渡されます。 しかも、どの部品もそれ自体が複雑なものではなく、抵抗やコンデンサといった単純な部品で構成されており、それぞれの部品は単独でも十分に理解できる挙動を示します。 今、あなたはシステム内のすべてのコンポーネントの完全な仕様にアクセスできるだけでなく、さまざまなコンポーネントのそれぞれが特定の入力にどのように反応するかを確認するための実験を行うこともできます。 結局のところ、個々の部品は理解されており、隠された情報はないのです。 しかし残念ながら、複雑さは多くの単純な構成要素の相互作用によって生じる。 十分に複雑なシステムの場合、与えられた入力に対して、箱の出力がどうなるかを予測することは、それを知るための実験をしない限り、まず不可能である。 なぜ箱がそのように動作するのかについての唯一の説明は、すべての構成要素が個々の動作を制御するルールに従っており、全体の動作はそれらの相互作用から現れるということです。

さらに重要なことは、システムの全体的な目的を知っていたとしても、システムの仕組みを超えて、なぜ各構成要素がその場所に配置されたのかを説明できない可能性があることです。 箱が何らかの目的のために設計されている以上、それぞれの部品も理由があって追加されていると考えられます。 しかし、特に巧妙なシステムでは、DNAのように、それぞれの部品が複数の役割を担ってしまうこともあります。 そうすると、非常に効率的なシステムになる反面、各構成要素の目的をまとめることが非常に難しくなります。 言い換えれば、システムの「方法」は完全に透明ですが、「理由」は潜在的に理解不能です。

これは、結局のところ、深層学習の完璧なメタファーです。 一般に、システム全体は検査に開放されています。 しかも、それは完全に、単独で容易に理解できる単純なコンポーネントで構成されています。 しかし、システム全体の目的がわかっても、システムがどのように動作するかについては、個々の構成要素が入力に応じて、それぞれのルールに従って動作するという事実以外に、必ずしも簡単な説明ができるわけではない。 しかし、これこそが真の意味での「システムの仕組み」であり、「透明な仕組み」なのです。 しかし、もっと難しい問題は、なぜ各コンポーネントがそのような役割を担っているのかということである。 これをさらに理解するために、モデルという考え方を、それを訓練するために使用されるアルゴリズムから切り離すことが役に立ちます。 Harris は「アルゴリズムが何をどのように達成しているか」に言及していますが、ここには実際には 2 つの部分があります。モデル (深層学習システムなど) と、モデルをデータに適合させるために使用する学習アルゴリズムです。 ハリスが「アルゴリズム」に言及したとき、彼はおそらくモデルについて話しているのであって、必ずしもそれがどのように訓練されたかについて話しているわけではありません。 多少曖昧かもしれませんが、統計モデルは基本的に、データから学ぶべき詳細とともに、物事が世界でどのように機能するかについて、我々が行う仮定をキャプチャします。 特に、モデルは入力が何であるか、出力が何であるか、そして通常、出力を生成する際に入力がどのように相互作用すると考えるかを指定します。

モデルの古典的な例は、ニュートンの重力を支配する方程式です。 このモデルでは、出力（2つの物体間の重力）は3つの入力値、すなわち最初の物体の質量、2番目の物体の質量、およびそれらの間の距離によって決定されることを述べている。 より正確には、重力は2つの質量の積を距離の2乗で割ったものに比例するとしている。 批判的に言えば、なぜこれらの要素が重力を左右する要素でなければならないかを説明しておらず、単にどんな状況でも重力を予測できるような簡略化された説明を提供しようとしているに過ぎないのである。

もちろん、これが完全に正しいとしても、予測を可能にするためには、対応するスケーリング係数Gを知る必要もある。ただしこの値は観測により知ることが原理的に可能であろう。 もちろん重力の場合、アインシュタインはニュートンのモデルがおおよそ正しいこと、そして極端な条件下では失敗することを示しました。 しかし、ほとんどの状況では、ニュートンモデルは十分であり、だからこそ人々は定数 G= 6.674×10^(-11) N – (m/kg)² を学び、それを使って予測を立てることができたのです。

アインシュタインのモデルはもっと複雑で、観察を通して学ぶべき詳細があります。 ほとんどの場合、ニュートン モデルとほぼ同じ予測をしますが、極端な状況ではより正確であり、もちろん GPS などの技術の開発にも不可欠でした。 さらに、相対性理論の二次予測は驚くべきもので、例えばブラックホールの存在を、我々が検証する前に予測することに成功している。

重力は、もちろん、（私たちが知る限り）決定論的な法則に則っています。 対照的に、機械学習と統計では、通常、不確実性やランダム性を含むモデルを扱います。 例えば、あなたがいつまで生きるかの単純なモデルは、あなたが住んでいる国の人口の平均を予測するだけでしょう。 より良いモデルは、あなたの現在の健康状態、遺伝子、運動量、タバコを吸うかどうかなど、関連する要素を考慮するかもしれません。 しかし、ほとんどの場合、予測には不確実性が伴います。なぜなら、私たちは関連する要素をすべて知っているわけではないので。 (これはもちろん、素粒子レベルで発生する明白な真のランダム性とは異なりますが、ここではその違いは気にしません)。

ニューラルネットワークと機械学習 (それ自体は間違いなく統計学のかなり成功した再ブランド化) の非常に成功した再ブランド化であることに加え、深層学習という用語は特定のタイプのモデルを指し、出力が入力に適用した一連の多くの単純変換の結果になるもの (上記の配線図とほぼ同じ) であることを指します。 ディープラーニングのモデルは確かに複雑だが、ブラックボックスではない。 なぜなら、文字通り内部を見ることができ、各コンポーネントが何をしているかを見ることができるからです。

もちろん、問題はこれらのシステムも複雑であることです。 予測を行うために従うべき簡単なルール セットを与えると、ルールがあまり多くなく、ルール自体も単純である限り、かなり簡単に入力と出力のマッピングの完全なセットを頭の中で理解することができます。 これは、線形モデルとして知られるモデルのクラスにも当てはまりますが、程度は低くても、他の入力の値を知らなくても、任意の 1 つの入力を変更した効果を解釈できます。

対照的に、深い学習モデルは、通常、非線形性と入力間の相互作用を含みます。これは、入力から出力への単純なマッピングがないばかりか、ある入力を変更した効果が他の入力の値に大きく依存し得ることを意味します。 このため、何が起こっているかを精神的に把握することは非常に困難ですが、それでも詳細は透明であり、完全に検査することができます。

予測を行う際にこれらのモデルが行う実際の計算は、通常非常に簡単です。 重力の例では、いったん「十分な」モデル (質量に比例し、距離の 2 乗に反比例する) を仮定すると、モデルを観測に適合させることにより、1 つのパラメータ (G) の値を解決するだけでよいのです。

実際には、これらの深層学習モデルのほぼすべてが、確率的勾配降下法 (SGD) と呼ばれるアルゴリズムの何らかの変種を用いて学習されます。 正確には、なぜそれがうまく機能するかはまだよく分かっていませんが、心に留めておくべき主なことは、それも透明であるということです。

SGD は通常、すべてのパラメーターに対してランダムな値で初期化されるので、実行するたびに異なるパラメーターを導き出すことができます。 しかし、アルゴリズム自体は決定論的であり、同じ初期設定と同じデータを使えば、同じ結果が得られるのです。 言い換えれば、モデルもアルゴリズムもブラックボックスではありません。

やや不満足ではありますが、機械学習システムがなぜ何かを行ったかについての完全な答えは、最終的には、モデルを設計する際に行った仮定、学習させたデータ、初期化のランダム性を含むパラメータの学習方法について行ったさまざまな決定の組み合わせにあるのです。

まず、ユーザーに関する限りブラック ボックスであるアルゴリズムやソフトウェア システム (機械学習に基づくものだけではありません) が数多く存在します。 これはおそらく、プロプライエタリなソフトウェアによく見られるケースで、ユーザーは内部の仕組みにアクセスできず、私たちが見ることができるのは入力と出力だけです。 ProPublicaが司法判決アルゴリズム（特にNorthpointe社のCOMPASシステム）の取材で報告したのは、このようなシステムです。 この場合、インプットは分かっており、アウトプットとして人々に与えられたリスクスコアを見ることができます。 しかし、私たちは、同社が使用したアルゴリズムや、それが学習されたデータにアクセスすることはできません。 とはいえ、誰かがその詳細 (おそらく会社の従業員) にアクセスしており、彼らにとっては完全に透明である可能性が非常に高いと言えます。

ブラックボックスの比喩が関連する 2 つ目の方法は、人間の視覚など、学習しようとしているシステムに関するものです。 ある意味、人間の行動は非常に透明であり、実際に人に理由を尋ね、説明を得ることができます。 しかし、私たちが自分の行動の本当の理由を常に知っているわけではないと考える十分な根拠がある。 自分自身に対して透明であるどころか、私たちは自分の行動を支配する内部プロセスの多くに意識的にアクセスすることができないのです。 もし、自分が何かをした理由を説明するよう求められたら、少なくともその意思決定プロセスが自分にとってどのように感じられたかを伝えるような説明をすることができるかもしれません。 対照的に、オブジェクトを認識する方法を説明するよう求められた場合、何らかの説明 (エッジや色に関係する何か) を提供できると思うかもしれませんが、実際には、このプロセスは意識のレベルよりかなり低いところで動作しています。

神経科学の実験など、人間や他の哺乳類のシステムの内部動作を実際に検査できる特殊な状況はあるものの、一般的には、機械学習を用いて、入力と出力だけを使用して人間の動作を模倣しようとしています。 言い換えれば、機械学習システムから見れば、人間はブラックボックスです。

Conclusion

結論として、人々がブラックボックスではないシステムを考えるときに何を望むかを考えることは有用なことだと思います。 人々は通常、自動運転車が道を外れてしまい、その理由を知りたいと思うシナリオのようなものを想像します。 一般的な想像では、車は可能な結果を評価し、確率を割り当て、より良い結果を最大化する可能性が最も高いものを選択するはずであり、より良い結果は、車にプログラムされたある種の道徳に従って決定されると思われます。 むしろ、もし私たちが車になぜそのようにしたのかと尋ねれば、その答えは、現在の入力が与えられれば、そのパラメータの値を使って透明で決定論的な計算を適用し、それがその行動を決定したというものでしょう。 なぜそのような特定のパラメータを持つのかと尋ねると、その答えは、選択されたモデル、学習されたデータ、および使用された学習アルゴリズムの詳細の結果である、というものです。 しかし、私たちが模倣しようとしているシステムには、実際にはこのようなアクセスはないことを考慮してください。 人間のドライバーに道を外れた理由を尋ねると、彼らはおそらく言葉で答えることができ、酔っていたとか、注意散漫だったとか、ハンドルを切らざるを得なかったとか、天候で目がくらんだとか、何らかの説明をしてくれるはずです。 少なくとも機械学習では、同じ設定を再現し、内部状態を調べることができます。 理解するのは難しいかもしれませんが、ブラックボックスではありません

。