最近、ある認知科学の論文を読んでいたら、このような文章に出会った。
広く知られるように近似ベイズ推論において変分推論とマルコフ連鎖モンテカルロ法は二つの代表的な理論であるが，今のところ集合的予測符号化の数理モデルはマルコフ連鎖モンテカルロ法に基づいてしか理論化されていないことになる．しかし，集合的予測符号化を変分推論の視点から定式化することが不可能であると示されたわけでなく，十分に可能性のある方向性であろう．
これはベイズ推論をする上で、自由エネルギー原理が用いる変分法と集合的予測符号化が用いるサンプリング法とで、近似計算法が異なることに対して、統合可能性について述べた部分だ。これを読んで、ベイズ脳について前に書いた記事を思い出した。
そこでも、計算法によって異なるベイズ脳観があることを示唆していた。実は、この話題はこの記事を書いたときに突然に分かった話ではなく、二つのベイズ脳観は前々から私の興味の対象にはなっていた。 ベイズ脳と言うと、一般的には自由エネルギー原理がよく知られているが、これは変分法によるベイズ脳観である。私自身は自由エネルギー原理を知る前から、別のルートから認知のベイズ理論に関心を持って勉強していた(その後で予測符号化から自由エネルギー原理へと向かう)。この私が勉強した元々のルート(グリフィス&テネンバウムの研究グループ)は、サンプリング説との相性が良い。リンクした記事の中で紹介した論文の主要著者のチェイター(今は翻訳本がある人)は、グリフィスらの研究グループと考え方が近い。
私自身は、はっきり言ってサンプリング説の方が好きだ。しかし、自由エネルギー原理の流行りを見れば分かるように、サンプリング説は主流の立場とは言えない。(私は研究者でもないので)そこは諦めていたが、最近に冒頭の論文を読んで、ここでサンプリング説の紹介ぐらいしてもいい気がしてきた。
とはいえ、サンプリング説を直接に解説するのは自分にはさすがにきつい。そこで、自分のキンドルにはお気に入りの論文がいくつか入っているので、これを紹介していきたい。
まずは日本語の論文を紹介してみる
私自身はサンプリング説について始めは英語の論文で知ったのだが、ここでは読者が接近しやすい日本語の論文を先に紹介しておく。
まずは、神経科学者が書いたベイズ脳の二つの計算法を説明した論文をお勧めします。
平谷直輝「データ効率の良い学習を支える脳のベイズ可塑性機構」
あくまで脳の学習機構について説明した論文なので、私が始めに接近した認知モデルとはルートが全く違いますが、二つのベイズ計算法をまとめた論文として便利です。ただし数式は沢山あります(私も全て理解してはいない)が、見て雰囲気ぐらいは味わってもいいかもしれません。
次は、サンプリング説について直接に扱った日本語の論文で、見つけたときは正直なところ驚いた。
寺前順之介「脳と知能の物理学」
こっちも脳の機構について書かれているのだが、(多少の数式はあれど)読み物としてはこっちの方が面白く読める。始めて読むならこっちがお勧めだが、ここは公正な概論からサンプリング説擁護論へと順に紹介してみた。
論文の流れとしては、ディープラーニングと平均場近似が脳のモデルとして相応しくないことを示したあとで、脳の自発揺らぎを説明できるのはサンプリング説だ…となっている。重要な主張は論文から引用しよう。
脳型の学習は最適化ではない。最適化を用いなくてもニューラルネットワークに所望の機能を学習させることは可能なのだ。鍵は揺らぎを用いた事後分布からのサンプリングである。
寺前順之介「脳と知能の物理学」 pdf版のp.20より
なかなかに衝撃的な内容だ。変分法(論文では平均場近似)では、前もって分布の仕方を決めてそこから最適解を出すのだが、その方法を根底から否定している。今、他の多数派が自由エネルギー原理(変分法の側)に行こうとも、私はこの論文の方が好きだ。
英語の論文も軽く紹介してみる
ここまでは日本語の論文を紹介したが、どちらも脳のモデルとしてサンプリング説を説明している。ここからは、認知モデルとしてのサンプリング説を扱った英語の論文を紹介する。ただし、中身の紹介は自信がないので省略して、タイトルだけを挙げます。
まずは、以前の記事で取り上げたThe Bayesian Samplerはもちろんサンプリング説の論文である。そこではサンプリング説の特徴として、認知バイアスを説明できることを挙げた。そこで挙げなかったものだと、サンプリングの出発点を考えるとアンカリングも説明できそうだ。ここからも分かるように、サンプリング説の一般的な特徴は(最適解ではなく)次善解を求めることだ。だから、局所解にハマる事もよくあり、フェイクニュースは最初に触れると訂正が難しいのもこれに近い。
上の論文は、私が影響を受けたとしたグリフィスと共に有名な発達心理学者のゴプニックも共著者に加わっている。ベイズ脳の発達心理への応用として興味深い。
最後に挙げるのは、十年近く前の二つの博士論文だが、サンプリング説を主題にした論文として紹介しておく。どちらもサンプリング説がバイアスのような主観性を扱えることに注目している。
Edward Vul"Sampling in Human Cognition"
Thomas F. Icard, III"The Algorithmic Mind A Study of Inference in Action"
最後に
私が密かに支持していたサンプリング説を紹介できただけで、自分としてはもう満足だ(支持者が増えることなど期待してない)。自分はブログには書いてない密かに好きな説(理論)はいくつかあるが、その一つを取り上げられた機会には感謝する。
ここでまた冒頭で引用した論文に戻ろう。冒頭の論文では、集合的予測符号化(サンプリング法)を自由エネルギー原理(変分法)に組み込むことを望んでいた。このブログの読者には分かるかもしれないが、私自身は統一理論としての自由エネルギー原理には懐疑的な視点を向けてきた。かと言って、サンプリング説が変分説にとってかわれるのか？よく分からない。そもそもサンプリング説と変分説は排他的な二者択一なのだろうか？
自由エネルギー原理を採用するということは、暗に最適化論をとることに近い。(工学者も科学者も)いまや猫も杓子も最適化に夢中だが、これは本当に心の説として正しいのだろうか？
