自由エネルギー原理については、このブログでは既に何度か批判的な議論を紹介している。フリストンブランケットやメカニズムとの関係についてはすでに記事をあげたが、私自身の自由エネルギー原理への印象は相変わらず良くならない。他に気にしてる話題がなくもないのだが、自由エネルギー原理は最近ネットに上がっている関連論文の数が多く出てきており、どうしても気になってしまう。
もちろん詳しい議論は専門の学者にやってもらうしかなく、私としてはそれに期待している。ただ幾本も文献を読んでも自由エネルギー原理への基本的理解があまり定まらない。例えばある日本の有名学者は論文で運動や主体感はactive inferenceでこそ扱えるかのような書き方をしているが、運動も主体感も自由エネルギー原理が影も形もない頃から予測符号化で扱えることが知られている(運動はWolpertら、主体感はFrithらの研究があった)。
自由エネルギー原理について数式がたくさん書いてある論文は日本語でもいくつもある。だが私のこれまでの経験上、(この件に限らず)数式を論文や記事にたくさん書いてる人がその数式の意味をちゃんと理解している訳では必ずしもないことは承知している(分かってるなら数式の説明しろよ！)。結局は自分で努力して理解するしかない(いつものことだ)。
この記事は、元々は自由エネルギー原理の核となるactive inferenceについて自分なりの見解を書く予定だった。しかし、フリストンらが今年出したばかりのある論文をつい最近見つけて、そこにかなり詳しく説明されていたので、ここでは抑えめに書くことにした。てか、active interenceが実は思ってた以上に未完成の発展中なのに驚いた。
予測処理の説明を引用して私が注釈する
以下は、ある論文からの引用を翻訳して、そこに私が注釈します。書くのは完全に私なりの理解なので、正確に知りたい人は自分で確かめてください。
自由エネルギー原理(予測処理) = 予測符号化 + 能動的推論
予測処理の見方の元では、生成モデルの予測が実際の観察と比較されて、モデルと観察との間の違い(予測誤差、形式的には自由エネルギーと同等)は階層の中で上へと送られる。神経システムの目的は階層の各段階を通してその予測誤差を最小化することである。これは二つの方法で達成される:つまり、実際の観察と合う確率(the probability of the observation)を最大化するように世界の状態を推測することによってであり、これは知覚に相当し予測符号化の枠組みで典型的にモデル化される;または、その予測を実現させる機会(the chance of meeting those predictions)を増やすために世界の中でデータをとったり(sampling)行動を起こしたり(acting)することによってでもある。この後者の形を想定するモデルは能動的推論(active inference)モデルと呼ぶことにする。
Martina G. Vilas , Ryszard Auksztulewicz & Lucia Melloni "Active Inference as a Computational Framework for Consciousness"pdf版のp.5より翻訳
自由エネルギー原理と予測処理との関係が曖昧なのは以前の記事で触れたが、ここでは共通部分だけが説明されてます。自由エネルギー原理は独自に拡大しており、例えば一般的にフリストンブランケットは予測処理理論の中には含まれなく、自由エネルギー原理に独自に付け加わっていると考えていいと思う。
私自身の自由エネルギー原理への元々の理解は、予測符号化に階層化とactive inferenceを加えたものだった。 しかし、予測符号化を階層化するだけではあまりオリジナリティがない。それよりはこの引用にあるように、自由エネルギー原理を予測符号化とactive interenceを組み合わせたものと理解する方が分かりやすい。予測符号化とactive interenceはそれなりに独立してるので、個人的には予測符号化はそれだけで完成度が高いので先に勉強してしまうのがお勧め
ここまでactive interenceをわざと訳さないできた。それは理由がある。日本語の文献で定訳となっている「能動的推論」に疑問があるからだ。なぜならactive interenceは、予測符号化のperceptual inference(知覚的推論) と対照となる用語だからだ。知覚に対応させるなら行為の方が相応しい1。「能動的」の訳語は、身体化(特にenactivism)を思わせるが、それは必ずしも実態と合わない。この後で説明するように、(能動的にする)新たなデータの取得は、active interenceの目的の一つであるが、それは唯一の目的ではない。かと言って、行為的推論と訳しても分かりにくいので、ここでは定訳に従う。
既にあった予測符号化とは異なり、active interence(能動的推論)こそが自由エネルギー原理の革新であり、これを説明するのが上の引用のすぐ後に続く次の引用だ。
能動的推論の核心は期待される自由エネルギーにあり
能動的推論(active inference)モデルはこのようなことを含意している:システムは今ここでの驚きを最小化するだけでなく、行為の連鎖としての方策(policy)を選ぶ過程を通して期待される驚き(expected suprise)も最小化する。この最小化は二つの方法で達成されうる:つまり、事前設定によって定められた報酬(rewards)を得られる可能性を最大化するような実際的な(pragmatic)行為を行なうことによってである。またもう一つは、探索によって得られる情報を最大化するような認識を高める(epistemic)行為を行なうことによってだ。すなわち、未来の状態についての信念と何らかの状態についての可能性を表した仮想的な(counterfactual)信念と特定の方策を選んだ時にあったはずのその結果とを生成モデルは持っていなければならない。階層上の各段階での状態の間での変化は上の階層によって定められることになる(contextualized)。
Martina G. Vilas , Ryszard Auksztulewicz & Lucia Melloni "Active Inference as a Computational Framework for Consciousness"pdf版のp.5より翻訳
予測符号化が今ここでの驚きを最小化するのに対して、能動的推論は未来における驚きを最小化する。未来における驚きは期待される驚きとここでは呼ばれ、日本語訳で期待自由エネルギーと呼ばれるのと同じである。(引用では説明されてないが)行為の連鎖のことを方策(policy)と呼び、期待される驚きを最小化するような方策が選ばれる。
期待される自由エネルギー(驚き)は二つの項を持った数式に分解できる
EFE(期待される自由エネルギー)には色んな分解法がありうるが、等式3.1で示されたのは最も重要である。なぜなら、EFEは外在的、目的指向型の項(文献によっては道具的値とも呼ばれる)と内在的、情報探求型の項とに分けられるからだ
Beren Millidge,Alexander Tschantz&Christopher L. Buckley "Whence the Expected Free Energy?" p.454より翻訳
ここにある外在的項が実際的行為に対応し、内在的項が認識を高める行為に対応する。つまり、将来的に報酬を得ようとするか？新しい情報を得ようとするか？を総合的に判断しようとする2。RPGのゲームで説明すると、今の街の周辺で経験値や金を貯めるか？マップの先を探索して新しい街を探すか？を選ぶことに値する。または、今の会社に残って働き続けるか？今の会社を辞めて転職や起業をするか？を選ぶのにも近い。起業して一時的に収入が減ったとしても将来的に大金持ちになれるならそれを選ぶだろう。
ちなみに、能動的推論で説明できる現象としてよく挙げられるのは、目立つ所に注意が向くこと。ただ、極端な例(報酬なしであからさまに顕著な情報がある)なので、説明できてる感があまりしない。
能動的推論に私が何となく感じる疑問
ある行為を選んだ時にどんな状態になるか？の計算は、マルコフ過程(直前の状態によって次の状態が決まる時系列の計算)によって行なわれるらしい^3。具体的な計算は今の私にはまだよく分からないが、何となく感じる疑問はある。
最も極端な例を挙げると、どうせ将来のいつか人は必ず死ぬのだから、何をしても無駄だ！という鬱的な判断をそもそも避けられるのだろうか？(ある所で悲観的予測の問題と呼ばれていたのと同じ)。これはケインズがした古典的な経済学理論(均衡システム)への指摘と等しい。真っ暗闇問題(dark room problem)も、きっとこの暗闇から脱出したら良いことがあるんだ！という知識と欲望に従って脱することができるのだ。つまり時間的な先の計算がいまいちよく分からない。最も悲惨な将来を想定して何もしない(途中経過を計算するまでもない)ような悲観的予測はありうる(今のままの生活を続けるだけなので珍しい選択とは言えない)。こうしたことを本当に数式化できてるのか？
もう一つ意地悪な疑問を挙げると、能動的推論が行動を起こす前に全てを計画するプランニングのモデルに見えることだ。このプランニングモデルは人類学者サッチマンが批判した古典的認知科学で採用されていたモデルだ。プランニングモデル(世界を正しく表象して前もって正しい行動を決める)に反対するような形で現れたのが、ＡＩのサブサンプションモデル(ブルックス)とも言える。つまり、自由エネルギー原理は身体化に与してるように言われるが、(表面的な数式的な洗練化にも関わらず)能動的推論が採用してるようにも見えるプランニングモデルが身体化以前の古臭いものに見えなくもない。古臭いモデルだからいけない訳ではないが、身体化に与しているかのような言説と合っていないのは問題だと思う(そんなことは始めから言わなければいい。それで能動的推論の価値は下がらない)。
こうした私の現時点での疑問が正しいのか？よく分からない。それは各自で確かめてください。
