予測処理理論は用語があいまいに使われているのか？

この前、統一理論としての予測処理(PP)理論を批判する論文を読んでいると書いた。それは次の論文だ。

google:Piotr Litwin, Marcin Miłkowski Unification by Fiat: Arrested Development of Predictive Processing には、一通り内容には目を通した。それなりに面白かったが、アンディ・クラークらの予測処理理論のレビュー論文とは真逆としたのは誤解を招く書き方だったなぁ〜と思った。

google:Kevin S. Walsh, David P. McGovern, Andy Clark, and Redmond G. O’Connell Evaluating the neurophysiological evidence for predictive processing as a model of perceptionでは、知覚のモデルとしての予測処理理論を検討している論文だったが、その後に私が読んだ論文はあくまで統一理論としての予測処理理論を批判してるものだった。

つまり、始めに挙げた論文での予測処理理論への批判は周辺的な批判であって、本丸には達していない。知覚は予測処理理論の本丸¹なので、これらの二つの論文は互いに相反してはいない(少なくとも直接的には)。

どんな論文を読んだの？

「Unification by Fiat: Arrested Development of Predictive Processing」は訳すなら、「専制による統一:阻まれる予測処理の発展」。Fiatは命令が直訳だろうが、それだと意味が分かりにくい。無理矢理に作られた統一が含意なので、こう意訳するのが良いだろう(こういうのは自動翻訳にはできない)。

「専制による統一」は、予測処理理論の応用研究への批判が中心であり、その結果として予測処理理論の統一理論としての意義に疑いを発している。予測処理理論そのものの批判が目的ではないが、そもそもの原因として予測処理理論がもつ用語の曖昧さが指摘されてるので、無傷とも言いがたい。

論文「専制による統一」の全体の紹介は面倒なのでしないが、その一部を日本語の論文を引用しながら説明できそうなので、すこしやってみようと思う。

計算論的精神医学における用語の使われ方

「専制による統一」ではいくつかの応用研究が挙げられている。その中でも特にある研究がやり玉に挙げられている。それは、予測処理理論の計算論的精神医学への応用だ。あまりに批判が集中してるせいか、ネットで当人同士で反論合戦が繰り広げられている(Marcin Miłkowskiのホームページを参照)。

比喩として心的用語を使うことの罠

この論文での批判が当てはまる記述が、日本語で書かれた計算論的精神医学の論文に見つかったので、まずはそこを引用してみます。引用で出てくるベイズ推論モデルとは、少し前の記述から自由エネルギー原理(代表的な予測処理理論)だと分かります。

具体的には，うつ病患者が呈する自己・世界・将来に対する否定的な信念は，ベイズ推論モデルにおける信念と考えることができる （Chekroud, 2015）。そのように考えると，認知行動療法で行う認知再構成は，患者のもつ信念とは異なる情報や結果を経験する （予測誤差が生じる） ことで，信念の更新が生じ，否定的な信念の確信度を弱めているのかもしれない。
google:国里愛彦 片平健太郎 山下祐一 うつに対する計算論的アプローチ 強化学習モデルの観点からp.100より

ベイジアンの知識があると、かえっておかしいことは言ってないと思いがちだが、ここでのベイジアンの応用は意思決定論ではないことに注意すべき。そこで、次は「専制による統一」からの引用の翻訳(意訳気味)。

しかし、私達の関心は正確さに限られない。予測・期待・信念のような主観的な領域での、呼び名は同じなのに意味が違うそっくりさんがいる、PPのテクニカルな用語にこそ、あいまいな表現の落とし穴がより強烈な形で待ち構えている。
Piotr Litwin, Marcin Miłkowski "Unification by Fiat: Arrested Development of Predictive Processing" p.7より翻訳

例えば、予測処理理論で使われる予測という用語は、私達が主観的に経験できる予測を意味してはいない。あくまで比喩やアナロジーであって、文字通りに受け取るべきでない。

先の引用部分で出てくる「信念」も、本来は計算論的なモデルのはずだが、「患者の持つ信念」とも言われていて、どうも意味の一貫性が守られてるように見えない(ただし、これは英語の元論文による責任の可能性も高い)。これは予測や信念という言葉の曖昧さの現れそのものだ。

大御所でも筆は滑る

もう一つの引用は、予測符号化の先駆的な研究で知られる乾敏郎による、実質的な内容が計算論的精神医学の論文からだ。

したがって統合失調症では誤ったデータに基づき信念が書き換えられていき，結果として世界について誤った信念を持つに至る．換言すれば，知覚異常が学習によって誤信念を導いたということだろう．
google:乾敏郎 誤った知覚から世界に関する修正不能な信念が生じる脳内メカニズムp.176より

「データに基づき信念を書き換え」るとする記述は誤解を招く微妙な書き方だ。ただこれに関しては、信念を直接に書き換えたとせずに、知覚が信念を導く(信念の形成は結果)と解釈すれば問題はなくなる。しかし、これだけの大御所でも誤解を招かない言い方を避けるのは難しいことが分かる。

予測符号化に遡って本来の適用範囲を確認する

予測処理理論は、元からあった予測符号化を、一般化して適用範囲を広げようとして統一理論を目指した理論だ。適用範囲を広げようとして曖昧さの罠にハマったとされるが、本来の適用範囲はどこまでなのだろうか？

それを確認するには、元の予測符号化に遡れば分かる。しかもそれをすぐに分かる有名論文がすでにある。それはgoogle:Rick Grush The emulation theory of representation: Motor control, imagery, and perceptionだ。これは予測符号化のレビュー論文だけれど、便利なことにタイトルを読むだけで、運動制御・心像・知覚が扱われてると分かる。これに、このレビューが出た頃に既にフリスらによる研究があった自己主体感を加えれば、予測符号化がもともと得意とした研究テーマがだいたい分かる。

予測符号化には信念の書き換えを文字通りに行なうことは、適用範囲内にはない。ならば、適用の拡大が可能だと説明されるべきだが、それを見たことは(少なくとも私は)ない。やはり、用語の曖昧さによる過剰適用だと責められても仕方ないと感じる。

統一理論としての予測処理理論を信じられるか？

自由エネルギー原理に代表される予測処理理論は統一理論を標榜するが、「専制による統一」が示唆するように怪しいところもある。しかも、そのくせ自由エネルギー原理は元の予測符号化には適用範囲に含まれていた心像(imagery)を外すことで、反表象主義におもねっている疑惑が拭えないのは、私には印象が悪い。

ここでは扱わなかったが、「専制による統一」には、後付でもっともらしい話(just-so story)が作られる事の問題や、都合の良い証拠を集めるだけで事足れりとすることの問題(consistency fallacy)など、統一理論としての予測処理理論だけに限らない科学の問題も触れられて、それも興味深い。これらの問題からは、データに基づいた下からの理論形成ではなく、理論が先にあって上から証拠を説明しようとしている点で、専制という訳がまさにしっくりくる。

だがなにより、予測処理理論が統一理論だと信じるには、私は認知科学関連の他の様々な成果や理論を知りすぎてるのはある。それが幸いなことなのか？私自身にはもはやよく分からなくなっている。

---

1. ただし、クラークらのレビュー論文が書かれた動機にあるように、知覚でさえ予測処理理論に充分な証拠があると言えるかは疑われている。↩

最近のWIREDのAI記事をお勧めしてみる(一部コメント付き)

ネットにある日本語で読める信頼できる科学記事…というのはお世辞にも多くない。その中でWIREDの翻訳記事は質の高い信頼できる科学的な記事ばかりで当てになる。特に初期の情報が混乱してた中での新型コロナ関連の記事はとても助かった。

WIREDは人工知能(AI)関連の記事も充実していて、読み応えがある。日本でブームで出てきたにわかのミーハー野郎と違って、認知科学の知識のある人が書いた記事もよく見かける。

WIREDのAIについての短期連載はお勧めしておく

そこでまずは、最近まで短期で連載してた人工知能の連続記事をがお勧めなので、全部リンクしておきます。各記事にコメントしたい欲求にもかられるが、ここでは抑える。

人工知能は常識を身につけられるか？

もう一つのお勧めは、この短期連載の直後にWIREDに掲載された記事。これまでのAI研究の内実を凝縮した記事で、ともかくこれをお勧めとコメントをしたくてこれを書いている。特に上の短期連載を読んだあとで読むと味わい深い。

人工知能は常識を身につけられるか？という問題は、数十年前からずっと言われ続けている問題で、ニューラルネットワークが発展した現代でもほぼ解決してない。

詳しくは記事を読んでもらうとして、相関と因果や統計と論理といった対比はこの問題の基底だか、もうずっと解決してない。ただ、AIの常識問題を見かける度に不思議に思うのは、なぜ常識について論ずるときに身体の話題にはあまり触れられないのだろう？ということだ。

常識と身体の関係を考える

常識は人工知能の世界では長らく問題になり続けている。他方で、特に哲学を中心に心の身体化の議論は大いに賑わっている。なのに、工学者は常識を外側から知識で身につけさせようとし続けており、哲学者は身体については喜んで語るのになぜか常識にはあまり触れない。

どう常識を身につけられるか？には科学的には大きく二つのアプローチがある。一つは(素朴物理学などの)素朴理論を生得的と見るコア知識アプローチであり、もう一つは経験からの獲得であるとする構成主義アプローチだ。これらは必ずしも二者択一ではないにしても、どちらにも身体の視点はまだ弱い。

常識の多くには、世界の中での身体を持った上での経験から身につけられることも多いはずだ。なのに、なぜ常識と身体を結びつける議論は少ないのか？

身体と言語(化された知識)とのギャップ

工学者が常識について語るとき、たいてい知識としての常識を相手にすることが主だが、それはだいたい言語化された知識であることが多い(WIREDの記事も参照)。それに対して、哲学者が身体について語るときは、言語化以前の活動する主体としての身体を話題にすることが多い。ここには明らかにギャップがあって、そのままでは向こう側には渡れない。

身体と言語(化された知識)と間には大きな裂け目があって、ここを超えない限り、常識問題はなかなか進展しないと感じる。ロボティクスの構成主義アプローチも知らなくもないが、それはたいてい物事の分類に留まっていることも多く、(ニューラルネットワークを含む)統計的アプローチとの差がどこまであるかどうもよく分からない。

とはいえ、身体と言語の問題は相当の難所なので、そう簡単には解けそうにない。過去にも様々な優れた学者がそこに挑んできているが、そうは成果は出ない。しかし、本当の問題はその難所に本気で挑もうとする人自体が少ないことの方が、深刻な問題な気もしなくもない。

知覚の予測処理モデルの神経生理学的な証拠を調べた論文を自動翻訳を使った手抜きで紹介する

ネットで調べ物をしてたら、記事タイトル通りの知覚の予測処理モデルの神経生理学的な証拠を調べた論文を見つけました。 google:Kevin S. Walsh, David P. McGovern, Andy Clark, and Redmond G. O’Connell Evaluating the neurophysiological evidence for predictive processing as a model of perception

科学的なレビュー論文なのに、いくらその方面のテーマで有名とはいえ、共著者に哲学者のアンディ・クラークがいるのが驚いた。

で…読もうかなとは思ったけど、正直いって神経生理学は得意じゃない。いや、実質は認知神経科学ばかりなのだろうけど、やはり読む自信がない。

そこで、ここではこんな論文があるという紹介に留めて、内容の検討はその方面の専門家にお任せしたいと思う。でも、最小限の紹介はしたいのだが、どうも面倒くさい。

自動翻訳の出力をそのまま載せる実験的記事にする

そこで、今回は論文の要旨と、核となる四つの仮説を提示する引用を、ネットの自動翻訳で訳してそのまま載せようと思います。一応評判のDeepLを使いますが、読めない翻訳であっても、私に文句を言わないでください。

原文とセットで載せるので、自動翻訳のお手並み拝見程度の気軽な気持ちで見ましょう。

論文の要旨

まずは原文

For many years, the dominant theoretical framework guiding research into the neural origins of perceptual experience has been provided by hierarchical feedforward models, in which sensory inputs are passed through a series of increasingly complex feature detectors. However, the long-standing orthodoxy of these accounts has recently been challenged by a radically different set of theories that contend that perception arises from a purely inferential process supported by two distinct classes of neurons: those that transmit predictions about sensory states and those that signal sensory information that deviates from those predictions. Although these predictive processing (PP) models have become increasingly influential in cognitive neuroscience, they are also criticized for lacking the empirical support to justify their status. This limited evidence base partly reflects the considerable methodological challenges that arepresented when trying to test theuniquepredictions of thesemodels. However, aconfluence of technological and theoretical advances has prompted a recent surge in human and nonhuman neurophysiological research seeking to fill this empirical gap. Here, we will review this new research and evaluate the degree to which its findings support the key claims of PP.

そして、DeepLの翻訳。

長年にわたり、知覚経験の神経起源に関する研究を導く支配的な理論的枠組みは、感覚入力が複雑化する一連の特徴検出器を通過する階層的フィードフォワードモデルによって提供されてきた。 しかし、これらの説明の長年の正統性は、知覚は2つの異なるクラスのニューロンによって支えられた純粋な推論的プロセスから生じるとする根本的に異なる理論によって最近挑戦されています：感覚状態に関する予測を伝達するニューロンと、それらの予測から逸脱した感覚情報を信号化するニューロンです。 これらの予測処理（PP）モデルは、認知神経科学においてますます影響力を持つようになってきているが、その状態を正当化するための実証的な裏付けが不足していると批判されている。 このような限られた証拠ベースは、その一部を反映しているが、その理由としては、予測処理モデルを検証する際の方法論的課題が大きいことが挙げられる。 これらのモデルを用いた研究が行われている。 しかし、技術と理論の進歩のaconfluenceは、この実証的なギャップを埋めるために求めてヒトと非ヒトの神経生理学的研究の最近のサージを促している。 ここでは、この新しい研究をレビューし、その結果がどの程度PPの主要な主張を支持しているかを評価する。

まぁ、そこそこ読めるのでいいんじゃないんですかね。

四つの仮説の提示部分の引用

A variety of PP-consistent modelsb have been proposed, but despite this heterogeneity, there are a number of shared, canonical features that clearly dissociate PP from traditional models of perception. To date, neurophysiological investigations of PP have largely centered around testing four key hypotheses:
1. Error-signaling neural responses to sensory stimuli should scale inversely with expectation. 2. Top-down signals represent sensory prediction. 3. At each level of the cortical hierarchy there are two functionally distinct neural subpopulations representing predictions and prediction errors.
4. Prediction error minimization is achieved through reciprocal exchange of error and prediction signals across levels—a process known as “hierarchical inference.”

以上 google:Kevin S. Walsh, David P. McGovern, Andy Clark, and Redmond G. O’Connell Evaluating the neurophysiological evidence for predictive processing as a model of perceptionP.244より。

以下はDeepLによる翻訳。改行はしてますが、あとはそのまま。数字が二回出るのもそのままだが、実はこれはニューラルネットワークによる翻訳の特徴の一つでもある。

様々なPP整合モデルが提案されているが、このような不均一性にもかかわらず、PPを従来の知覚モデルから明確に切り離す共通の特徴がいくつかある。 これまでのところ、PPの神経生理学的研究は、主に4つの重要な仮説を検証することを中心に行われてきた。
1. 1.感覚刺激に対するエラーシグナリングの神経反応は、期待値に反比例する。
2. 2. トップダウン信号は感覚的予測を表す。
3. 大脳皮質階層の各レベルでは、予測と予測エラーを表す2つの機能的に異なる神経小集団が存在する。
4. 予測エラーの最小化は、レベル間のエラーと予測信号の相互交換によって達成されます-"階層的推論 "として知られているプロセス。

知識があれば言いたいことはなんとなく分かるかな。てか、 この程度は自分で訳せ！ってやつだな。

こんなもんじゃないかな？

評価は読者に任せますが、大雑把な内容把握ぐらいなら使えなくもないかな。でも、知識のない領域ではとても使う気がしないな。

ちなみに、今は今年出た統一理論としての予測処理(PP)理論を批判する論文を読んでいて、これがなかなか面白い。ここで紹介した論文とは方向性が真逆だな。これは紹介するかは分からないけど、予測処理についてはもう少し色々と書いても良さそうなことはなくもない(書く約束はできない)。