トップ > ニューラルネットワークの歴史について少しだけ確認する

ニューラルネットワークの歴史について少しだけ確認する

ネットで調べものをしていたときにたまたま「NNが心理学と生理学から離れていった瞬間」を見つけて読んだ。Nature論文(1986)のことは知らなかった(私が知っていたのは同年に出た二巻本の方)だったので、そこは勉強になったが、それ以外については同意できない所が多く困惑してしまった 1。

いちおうはてなブックマークでコメントは書いたものの、そのブックマークの他のコメントも分かっているような素振りで書かれているが首を傾げるものがあった。正直これから書くことは私のような認知科学オタクでなくとも知っていてもおかしくない話ではあるはず(当時は日本語の紹介書も幾つか出てて別にマニアックな話ではないの)だが、思った以上に知らない人が多いことに気付かされたので、軽く記事にすることにした。

信頼できる論文の紹介

とはいえ、お前のようなどこの馬の骨ともわからない素人の言うことなど信用できない…という人のために信頼できる論文にリンクしておくので読んでみてください。これを読むなら私の記事は読む必要ありません。

「ニューラルネットワーク研究の過去、現在、将来」

これは日本のニュラルネットワーク研究の先駆者である甘利俊一が、第二次ブームが始まったばかりの頃に書いたニューラルネットワークの歴史についての論文。

「特集：20世紀の認知科学を振り返る コネクショニズム」

これは21世紀に入ったばかりの頃に雑誌「認知科学」に掲載された、マクレランド&ラメルハートからエルマンに至る認知科学における第二次ブーム時の研究の紹介。パターン認識中心の現在と違って高次認知も研究対象になっていたことに注目。

(ほぼ二期だけの)ニュラルネットワーク史の軽い整理

詳しい話はこれらの論文に任せて、残りはこれらの論文を読むのも面倒な人向けの簡略な説明。

  1. 1950~60年代：基礎的アイデアの提出；Perceptron批判まで
  2. 1980~90年代：認知科学的なブーム；「PDPモデル」の出版から
  3. 現在2010年代：工学的なブーム；深層学習の成功

ニューラルネットワークは今までに三回のブームを迎えている。1950~60年代の創世記、1980~90年代の再興期、そして現在2010年代の深層学習による工学的なブームと続いている。第1期についてはどの本や記事にもよく書かれているのでそれを読んでください。今の第三期については私より詳しい人がいくらでもいるのでそちらから話を聞いてください。今回触れるのは主に第二期のブームです。

第二次ブームの実情とは？

最初に触れたブログ記事では「1986年のNature論文はNNを心理学と生理学から引き離した」とあるが、私の知っているのは同年に出た著者も一部共通する「PDPモデル」の方だが、起こった動きとしては別に違いがないのでそういうものとして語ります。ここで言われている心理学が認知科学としての心理学であるのも当たり前なのでいちいち説明しません。重要なのは1986年からのブームで、ニューラルネットワークと心理学が切り離されたか？ 2であるが、これについてははっきりとNOと言える。

詳しくはリンクした2つ目の論文を見てもらえば分かるが、このときのブームはむしろ認知科学的なブームだったと言っても過言ではない。当時使われた手法であるBack propagationが新しいものではなかったことは様々な人に指摘されているのでそこは問題ではない。重要なのは、そのニューラルネットワークが心理学的なデータと一致するような振る舞いを見せたという成果の方だ。そこから第二期のブームが始まり、様々な認知科学の研究テーマに応用されるようになったのだ。ただなぜ第二期ブームが鎮静したかと言うと、工学的にはもっと効率の良いアルゴリズムの開発があるだろうが、認知科学的には別の研究のブームが現れることによってなんとなく立ち消えになったとしか言いようがない(正直言うとよく分からない)。ただはっきりと言えることは、現在の第三期のブームでは認知科学との関係も切れてしまっていることだ。

実際のところ、ニューラルネットワークのブームが起きる最大の基盤は、テクノロジーの発展という即物的な理由だというのが本当の実情だったりもする。

最後に簡易な表を作ってみた

各時代の代表的な技術と大雑把な傾向

年代 技術 傾向
1950~60年代 Perceptron 研究領域の創出
1980~90年代 Back propagation 生理学からの離脱
現在2010年代 Deep learning 認知科学からの離脱
追記(2018-11-02)

冒頭のリンク先ブログでこの記事に言及してもらいました。ありがとうございます！

工学的な方面は私にはよく分かりませんが、認知科学ではなんとなく気づいたら衰退していた感じがあって、私にも事情は把握しきれません。脳イメージング研究が流行った頃なのでその影響もあったかもしれない。そうした衰退傾向の中で地味に研究を続けて成果を出したHinton先生は本当に素晴らしいと思う。見習いたいものです。

おまけ(2018-11-04)

たまたまある批判に気づいたので一応答えておきます。まず、ここで述べた特徴は第二期の(認知科学的な)ニューラルネットワーク研究一般にだいたい当てはまることであって、Nature論文だけに限定しては論じてません。第二は、ここで心理学データとの一致というのは必ずしも厳密に受け取る必要はなく、観察される心的な現象(行動)に似ている程度にゆるく捉えてもらって構いません(初期はデモンストレーション的な要素が強かったのでは…と推測)。私の見解に疑問のある人は、ここでリンクした2つ目の論文を読んで内容を確認してください。そっちのほうが正確です。実際に心理学的なデータと比較した研究もあります。重要なのはそういう方向へと当時のニューラルネットワーク研究が流れたという事実です。そして、この点を押さえておかないと(リンクした1つ目の論文で既に指摘されているように、Back propagationが新規なものでない以上)第二期のブームが何故起こったのかを理解できません。

本文では触れませんでしたが、第二期ブームの当時は(欧米で)哲学者もニューラルネットワークについて多くを論じていました。それでさえ今の日本では伝わってないのかもしれない。曲がりなりにも、最近の日本でも人工知能ブームが起こったので、こうした歴史的経緯も少しは知られているのかなと思ったのですが、思った以上に伝わっていることは少ないようです。

  1. これは本文では触れないが、行動主義と認知科学を混同している記述(ブロックボックス)については、いくらなんでもそれはないだろ〜！と突っ込まざるを得なかった↩

  2. ちなみに、第一期でもニューラルネットワークが生理学と結びついてたというよりも、そもそもその方面の研究がそんなに進んでいなかったが実情に近い。↩