ニューラルネットワークの歴史について少しだけ確認する

ネットで調べものをしていたときにたまたま「NNが心理学と生理学から離れていった瞬間」を見つけて読んだ。Nature論文(1986)のことは知らなかった(私が知っていたのは同年に出た二巻本の方)だったので、そこは勉強になったが、それ以外については同意できない所が多く困惑してしまった 1。

いちおうはてなブックマークでコメントは書いたものの、そのブックマークの他のコメントも分かっているような素振りで書かれているが首を傾げるものがあった。正直これから書くことは私のような認知科学オタクでなくとも知っていてもおかしくない話ではあるはず(当時は日本語の紹介書も幾つか出てて別にマニアックな話ではないの)だが、思った以上に知らない人が多いことに気付かされたので、軽く記事にすることにした。

信頼できる論文の紹介

とはいえ、お前のようなどこの馬の骨ともわからない素人の言うことなど信用できない…という人のために信頼できる論文にリンクしておくので読んでみてください。これを読むなら私の記事は読む必要ありません。

「ニューラルネットワーク研究の過去、現在、将来」

これは日本のニュラルネットワーク研究の先駆者である甘利俊一が、第二次ブームが始まったばかりの頃に書いたニューラルネットワークの歴史についての論文。

「特集：20世紀の認知科学を振り返る コネクショニズム」

これは21世紀に入ったばかりの頃に雑誌「認知科学」に掲載された、マクレランド&ラメルハートからエルマンに至る認知科学における第二次ブーム時の研究の紹介。パターン認識中心の現在と違って高次認知も研究対象になっていたことに注目。

(ほぼ二期だけの)ニュラルネットワーク史の軽い整理

詳しい話はこれらの論文に任せて、残りはこれらの論文を読むのも面倒な人向けの簡略な説明。

  1. 1950~60年代：基礎的アイデアの提出；Perceptron批判まで
  2. 1980~90年代：認知科学的なブーム；「PDPモデル」の出版から
  3. 現在2010年代：工学的なブーム；深層学習の成功

ニューラルネットワークは今までに三回のブームを迎えている。1950~60年代の創世記、1980~90年代の再興期、そして現在2010年代の深層学習による工学的なブームと続いている。第1期についてはどの本や記事にもよく書かれているのでそれを読んでください。今の第三期については私より詳しい人がいくらでもいるのでそちらから話を聞いてください。今回触れるのは主に第二期のブームです。

第二次ブームの実情とは？

最初に触れたブログ記事では「1986年のNature論文はNNを心理学と生理学から引き離した」とあるが、私の知っているのは同年に出た著者も一部共通する「PDPモデル」の方だが、起こった動きとしては別に違いがないのでそういうものとして語ります。ここで言われている心理学が認知科学としての心理学であるのも当たり前なのでいちいち説明しません。重要なのは1986年からのブームで、ニューラルネットワークと心理学が切り離されたか？ 2であるが、これについてははっきりとNOと言える。

詳しくはリンクした2つ目の論文を見てもらえば分かるが、このときのブームはむしろ認知科学的なブームだったと言っても過言ではない。当時使われた手法であるBack propagationが新しいものではなかったことは様々な人に指摘されているのでそこは問題ではない。重要なのは、そのニューラルネットワークが心理学的なデータと一致するような振る舞いを見せたという成果の方だ。そこから第二期のブームが始まり、様々な認知科学の研究テーマに応用されるようになったのだ。ただなぜ第二期ブームが鎮静したかと言うと、工学的にはもっと効率の良いアルゴリズムの開発があるだろうが、認知科学的には別の研究のブームが現れることによってなんとなく立ち消えになったとしか言いようがない(正直言うとよく分からない)。ただはっきりと言えることは、現在の第三期のブームでは認知科学との関係も切れてしまっていることだ。

実際のところ、ニューラルネットワークのブームが起きる最大の基盤は、テクノロジーの発展という即物的な理由だというのが本当の実情だったりもする。

最後に簡易な表を作ってみた

各時代の代表的な技術と大雑把な傾向

年代 技術 傾向
1950~60年代 Perceptron 研究領域の創出
1980~90年代 Back propagation 生理学からの離脱
現在2010年代 Deep learning 認知科学からの離脱
追記(2018-11-02)

冒頭のリンク先ブログでこの記事に言及してもらいました。ありがとうございます！

工学的な方面は私にはよく分かりませんが、認知科学ではなんとなく気づいたら衰退していた感じがあって、私にも事情は把握しきれません。脳イメージング研究が流行った頃なのでその影響もあったかもしれない。そうした衰退傾向の中で地味に研究を続けて成果を出したHinton先生は本当に素晴らしいと思う。見習いたいものです。

おまけ(2018-11-04)

たまたまある批判に気づいたので一応答えておきます。まず、ここで述べた特徴は第二期の(認知科学的な)ニューラルネットワーク研究一般にだいたい当てはまることであって、Nature論文だけに限定しては論じてません。第二は、ここで心理学データとの一致というのは必ずしも厳密に受け取る必要はなく、観察される心的な現象(行動)に似ている程度にゆるく捉えてもらって構いません(初期はデモンストレーション的な要素が強かったのでは…と推測)。私の見解に疑問のある人は、ここでリンクした2つ目の論文を読んで内容を確認してください。そっちのほうが正確です。実際に心理学的なデータと比較した研究もあります。重要なのはそういう方向へと当時のニューラルネットワーク研究が流れたという事実です。そして、この点を押さえておかないと(リンクした1つ目の論文で既に指摘されているように、Back propagationが新規なものでない以上)第二期のブームが何故起こったのかを理解できません。

本文では触れませんでしたが、第二期ブームの当時は(欧米で)哲学者もニューラルネットワークについて多くを論じていました。それでさえ今の日本では伝わってないのかもしれない。曲がりなりにも、最近の日本でも人工知能ブームが起こったので、こうした歴史的経緯も少しは知られているのかなと思ったのですが、思った以上に伝わっていることは少ないようです。

  1. これは本文では触れないが、行動主義と認知科学を混同している記述(ブロックボックス)については、いくらなんでもそれはないだろ〜！と突っ込まざるを得なかった↩

  2. ちなみに、第一期でもニューラルネットワークが生理学と結びついてたというよりも、そもそもその方面の研究がそんなに進んでいなかったが実情に近い。↩

ベイジアンの合理的分析について考える

認知科学

前回の記事でTauber et al."Bayesian models of cognition revisited"を読んでから、その著者らが批判したがっている最適アプローチなるものが気になって調べてみた。まず、実際に調べてみるとTenenbaumらの研究が合理的だとされる理由がはっきりとしてきた。その源を探ると1990年に出たJ.R.Andersonの本において提唱された合理的分析にたどり着いた。J.R.Andersonというと認知アーキテクチャACT-R理論で知られているが、合理的分析の創始者でもあると初めて知った 1。その合理的分析を受け継いた学者として有名なのが、Nick ChaterやMike Oaksfordであり、TenenbaumらはそのChaterとの共著論文をいくつか書いている。つまり、Tenenbaumらの研究は合理的分析の系譜を受け継いでいるがゆえに合理的なアプローチだと言われているのだ。

こうした視点からのベイジアンアプローチ批判として有名な、Bowers&Davis"Bayesian just-so stories in psychology and neuroscience"や以前も取り上げたJone&Loves"Bayesian Fundamentalist or Enlightenment?" 2を改めて見てみると、ベイジアンそのものへの批判というよりも合理的分析(によるベイジアンの使用)に批判的なのだったと気づいた。それでは、合理的分析とは何なのだろうか。

合理的分析とは何か？

Andersonによって提示された合理的分析の手順をChaterらがまとめたものを引用すると

  1. 目標：認知システムの目標を正確に特定する
  2. 環境：システムが適応する環境の形式的モデルを明らかにする
  3. 計算的限界：計算的限界についての最小限の前提を作る
  4. 最適化：1~3の元で、最適な行動機能を得る
  5. データ：行動機能の予測を確認するために経験的証拠を試す
  6. 反復：繰り返して、理論を洗練させ続ける

    Chater&Oaksford"Ten years of the rational analysis of cognition" p.62より

簡単に説明してしまうと、合理的分析とは人の認知システムを環境への適応として捉えて分析しようという考え方だ。ベイジアンはその分析のための適切な道具としてよく採用されている。合理的分析の例としては「推論と判断の等確率性仮説」にあるOaksford&Chaterの研究の紹介を参照ください。(是非は別にして)Tenenbaumらの研究を見れば分かるように、合理的分析は研究プログラムとしては十分に生産的であり、その点では批判には当たらない。それでは、合理的分析はどこに問題があるとして批判されているのだろうか。

研究プログラムとしての合理的アプローチ

まず、最初に問題として目をつけられ易いのはその環境への適応性という前提だろう。確かにこの前提が間違っている可能性は十分にある。しかし、この点を批判する人たちは科学の持つ研究プログラムとしての側面があまり見えていない。そこで、ここでは似たような批判にさらされた社会生物学を例に挙げて説明しよう。社会生物学も適応万能主義としてよく批判されていたが、結局は様々な研究や成果を生み出して、科学的な研究プログラムとしては生産的だったので、結果としては成功した科学分野だと言える。実はここで問題なのは適応主義が本当に正しいかどうかではない。そうではなく、適応主義という前提から如何にして新たな研究や成果を生み出していけるかが問題なので、適応主義そのものは経験的研究の中でその正しさが検証されれば済む話だ。社会生物学は、適応主義を前提として動物行動学や進化ゲーム理論などの研究手段によって成り立つ研究プログラムの全体として評価されるべきなのであって、その部分をほじくり返しても科学的には不毛でしかない 3。

同じようなことが合理的分析に影響を受けた研究にも言える。それまでの認知科学では、論理などによる分析の規範があって、実際に観察された心的機能がその規範に従っているかどうかが問題とされた。その典型は行動経済学におけるヒューリスクティクス(直観的判断)であり、ヒューリスクティクスの持つ非合理性が主張された。こうした人の心の非合理性という前提は、現象の発見という点では大きな貢献をしたが、その説明という点になると単に非合理的であるの域をあまり超えないものであった。そこで認知科学で当時までに論じられていた生態学的妥当性の影響を受けて、人の認知を環境への適応としてみる合理的分析が現れた。合理性仮説の持つ長所は社会生物学における適応主義と似ていて、新たな説明を生み出して検証するための研究プログラムとしての生産性にあるはずだ。確かに、合理的アプローチは研究プログラムとしてそれなりに生産的でありそれなりに成功したように思える。にも関わらず、既に示したように合理的アプローチに対する批判は未だに止まない。それはなぜだろうか？

合理的分析のどこが問題か？

合理的分析への批判は早くからあって、Oaksford&Chaterの稀少性仮定が恣意的な仮定として批判されていたりした。その点では、Tenenbaumらの研究はそうしたあからさまな恣意的前提が少ない分よくできているが、実は問題はその分析手段であるベイジアンの方にある。合理的分析におけるベイジアンの使用はAndersonから既にあったものである。当時は論理を基礎にした分析が古典的計算主義として批判されていた頃であり、それが高次認知の研究にも合理的分析としてのベイジアンの利用を勧めていったとも言える。高次認知研究も科学として発展しているのであり、もはや未だに古典的計算主義を必死に批判している身体化論者はただのアホにしか見えない。高次認知へのベイジアンの適用には、標準的な論理や確率を基準に分析していた頃はそれに従っているか逸脱しているかの選択肢しかなかったが、ベイジアンを用いればもっと自由にモデルを構築できるという長所がある。しかし、この長所は両刃でもあり、データに合わせた恣意的なモデルでも作れてしまうことも意味する。既に挙げたベイジアンアプローチ批判の論文でもこの辺りはだいたい共通で指摘されている。

総合的に言えることは、認知モデルであるにふさわしい基準というのが分かりにくくなっているということだ。だからといって、認知モデルがいらないかというとそうも簡単にはいかないし、高次認知なんてどうでもいいと言うのも甘い。ベイジアンの合理的分析は認知モデルの問題を表面化させたにすぎない。

  1. Anderson自身は、合理的分析における環境への適応の考え方は、生態学的妥当性で有名なBrunswikやJ.Gibsonにまで遡るとしていると説明している。↩

  2. リンクはしませんがこれらの論文はネットから読めます。↩

  3. ちなみに、似た批判にさらされがちな進化心理学は、研究プログラムとしては社会生物学ほどには成功していない。その原因はおそらく研究プログラムとしての曖昧さ(例えばモジュール論の位置づけ)や実証的研究との繋がりの弱さなどがあるだろうが、これ以上の分析はしない。ただ一つだけ言いたいことは、進化心理学の流行がなければ心の研究(認知科学)における進化論的アプローチの普及はこれほどには進まなかっただろうということだ。↩

おかしなおかしな認知のベイジアンモデル批判

認知科学

べイジアンについては引き続きいろいろ調べ続けているが、その中で『心理学評論』第61巻1号 特集「統計革命」を最近になって見つけた。この特集への感想として初めに思ったのは、思ったよりも特集名に合致した論文はそれほど多くないことだ。「心理学評論」に認知モデルに関する論文がこんなに載ったなんて私的には感涙モノだが、やっぱり特集の企画とはズレを感じる。企画に沿った論文でもテクニカルな内容が多くてお世辞にも読みやすくはない。個人的にはコメント論文が読みやすい割に内容が深くてお勧めだ。

この特集の個々の論文に触れていると切りがないので感想はこの辺りにするにしても、その中で一つ特に気になったことがあった。「高次認知研究におけるベイズ的アプローチ」 1 にあった、合理的モデルまたは最適モデル、および記述的モデルとの２つのベイズ的アプローチに関する説明だ。自分はこれを読んでいてなんとなく違和感を感じたので、参照元となっているTauber et al."Bayesian models of cognition revisited"を見てみることにした。実はこれは前に一度ネットで見つけてダウンロードしたが読む価値がないと思って一度は捨てたのだが、今回改めて読んでみると私の直観も案外捨てたもんじゃないとなぁ〜と自信を持ってしまった。

「高次認知研究におけるベイズ的アプローチ」を確認する

まずは、「高次認知研究におけるベイズ的アプローチ」p.78-9から該当部分を読みやすいように一部省略しながら引用しよう。

まず一つ指摘しておかなければいけないのは， 認知主体がベイズの定理を用いて目の前の情報を 判断・解釈すると仮定してその認知をモデル化す るとしても，そのモデル化には2種類の解釈があり得ることである。1つは合理的モデル （rational model)， あるいは最適モデル（optimal model） と呼ばれ，認知主体 が与えられた環境に対して最適な推論を下してい ることを仮定する。もう1つは記述的モデル（descriptive model）と呼ばれ，認知主体の知識表現や信念，および学習による信念の更新を確率モデルとして表現・記述することを目指す。

と分類したその後で、

その点で，Oaksford and Chater（1994）の説明は上の分類に従えば合理的モデル に分類することができよう。一方，2000年代の研究，特にTenenbaumらによる研究は，記述的モデルとしてのベイズ的アプローチに分類でき る。

と指摘している。しかし、オリジナルの"Bayesian models of cognition revisited" を読むとCase study部分でTenenbaumらの具体的な研究を挙げて明らかにoptimal(最適)だと批判的に論じられている。引用部分を読めばわかるようにこの点に関しては明らかに勘違いがあり、「高次認知研究におけるベイズ的アプローチ」のこの辺りの関連した議論はTauberらの論文に正確に沿ったものではない。だが、私が本当に批判したいのは実のところこの論文ではなくて、むしろTauberらの論文の方なので、以降の話の中心は完全にTauber et al."Bayesian models of cognition revisited"に移行します。

Tauber et al."Bayesian models of cognition revisited"のどこが問題か？

これはあの「Psychological Review」に採用された論文と言う割にはおかしな所が目立つ。

この論文では、ベイジアンについての最適アプローチと記述アプローチとに分類した上で、これをCosmides&Toobyの進化心理学と結びつけている。ここに誤解がある。彼らの言うベイジアンの最適アプローチは現在の環境への最適性を仮定しているが、進化心理学は自然淘汰の生じた大昔の環境における適応を仮定していることが考え方として当時、衝撃的だったことを完全に無視している。つまり、元々の進化心理学は昔の環境への適応と現在の環境への適応を分けているのが特徴であった。Gigerenzerの生態学的合理性は進化心理学の考え方を受け継いだ理論 2だが、これは行動経済学の非合理性を批判して、ヒューリスティクス(直観的判断)の持つ生態学的な合理性を主張している。Gigerenzerはヒューリスティクスを認知的限界との絡みで次善(second-best)の策を取るとしているが、これも素朴に現在の環境への最適化と考えるのは無理がある。総じて進化心理学のアプローチは適応的(adaptive)なのであって最適(optimal)なのではないのであるが、これはダーウィンが進化論についてしていた有名な指摘でもある。こんなのは些末な指摘だと思われるかもしれないが、こんなのはもっと根本的な指摘のための準備運動でしかない。

核心に入る前にもう少しストレッチしておこう。この論文ではベイジアンについての最適アプローチと記述アプローチとを排他的に分類しているが、これがどうもおかしい。記述アプローチについては最後に触れるのでとりあえずは脇に置くが、単純に考えてもデータに合うかどうかの記述性と環境に適応しているかどうかの最適性とは必ずしも矛盾しない。データに合っていてかつ最適であることは可能である。Tenenbaumらによる研究は最適アプローチだと単に分類されているが、それは彼らの研究が記述的ではない理由にはならない。にも関わらず、Tenenbaumらによる研究が記述的でないとされる理由は確かにある。これはこの論文における記述アプローチとは何か？に関わりを持っている。

どこが根本的な勘違いなのか？

最初に疑問を感じたのは、すでにした引用にあるようにTenenbaumらによる研究が記述アプローチに分類されていたことだ。しかし、これまでの私の勉強の成果からTenenbaumらによる研究はむしろその合理性が指摘されることが一般的にも多いので、この分類自体がよく分からなかった。それに、心理学のような経験科学においては、(経済学ならまだしも)データと適合しない規範的な理論が最適アプローチとしてあったという指摘もあまりピンとこなかった。

そこで気になって、その元となった論文"Bayesian models of cognition revisited"を改めて見直してみると思ったよりもとんでもないことが想定されていることに気づいてしまった。それは"Bayesian models of cognition revisited"p.9にあるベイジアンへの記述的アプローチについて、具体的な論文が参照されている所を見ていたときだ。その論文への言及の中でmodel selection(モデル選択)とかparameter estimation(パラメータ推定)という文字を見て、もはやそれらの言及論文に遡るまでもないと分かった。つまり、彼らがベイジアンの記述的アプローチと呼んでいるものは、ベイズ統計モデリングのことなのだ。これについてはこの特集中の論文「心理学におけるベイズ統計モデリング」で主題になっているが、そこでも指摘されている通り認知モデルとベイズ統計モデリングはあくまで別物だ。Tenenbaumらによる研究は認知モデルについての研究であり、それをベイズ統計モデリングと直接比較すること自体がおかしい。ベイズ統計モデリングがデータとの適合性が高いのは、そもそもそれがそういう手法だから故の当たり前のことであり、認知モデルと直接比較して云々すること自体が奇妙でしかない。 3

最後はベイズについての認知モデルと統計モデリングとの関係を論じればいいのだが、これを書いていた当初は私の直観的な理解を書こうとしたのだが、どう考えても根拠を示されずに言えるほどには確信が持てないので困っていた。その後、あるきっかけで当然にこのテーマに直接に関係のある論文を見つけ出したので、無事にこの記事を書き終われそうなことになった。それは"How cognitive modeling can benefit from hierarchical bayesian models"だ。この論文は"Bayesian models of cognition revisited"p.9の記述アプローチの説明で言及されている論文の一つの著者であるM.D.Leeによるものだ。Leeはベイズ統計モデリングの研究で有名な人で、この論文もそうした論文の一つだ。実際にこの論文では、初めにベイジアン・アプローチを統計的検定と認知モデルと統計モデリングの3つに分けて、ここでは3つ目を扱うとはっきりと言っている。この事実自体が、記述アプローチが統計モデリングと同じであるとこの傍証でもある。しかし、今回注目すべきなのはそこではない。このLeeの論文のabstractの冒頭を引用しよう。

Hierarchical Bayesian modeling provides a flexible and interpretable way of extending simple models of cognitive processes.

これは私が当初思っていた…ベイズ統計モデリングは認知モデルを評価・検証するための手段であって、ベイズ統計モデリングそのものがベイジアン認知モデルの代わりになる訳ではない…という見解が正しいことを示しているとしか思えない。いや、"Bayesian models of cognition revisited"p.48の「Combining Bayesian data analysis with Bayesian cognition」という節タイトルから、実はこっちの論文でも同じ見解を結論として示したかったのかもしれないが、だとしてもベイジアン認知モデルとベイズ統計モデリングとを、最適アプローチと記述アプローチに分類して比較する必然性は全くない。むしろ、最初の無用な誤解を招く分類による議論はなくして、Tenenbaumらによる研究をベイジアン認知モデルとして批判してから、それに対してベイズ統計モデリングによって検証されるべきだと結論付ければ済む話で、その方が流れとしても自然だ。

ベイジアンはまだ途上だ

ベイズ統計というのは特に二十一世紀に入ってから盛んになり始めて、今現在も発展と普及の最中なので様々な混乱と誤解は起こりがちなのだろう。しかも、ベイジアンは応用範囲も広いので全体を把握するのも難しい。私はその関心上、知りたい範囲が広くならざるを得ず四苦八苦している。だが、新しい理論や技術の理解が大変なのはよくあることだ。ベイジアンの価値はまだこれから定まっていく途上にあるのだ。

  1. 以下、特集中の論文はすべて、リンク先の『心理学評論』第61巻1号 特集「統計革命」から読めます。↩

  2. 実は、モジュール論を想定するCosmides&Toobyと二重過程説を想定するGigerenzerとの比較というのも興味深いのだが、ここでは触れない。↩

  3. ベイズ統計モデリングではデータ生成メカニズムが問題になっているが、同じくメカニズムでも、それは認知モデルが科学哲学者BechtelやCraverの指摘する生物学的メカニズムの認知版であるのとは異なる。↩