予測処理(予測符号化)の源を引用から探る

今の認知科学で大いに話題となっている予測処理およびその元である予測符号化には、歴史的に見ると何人もの先駆者がいることはよく指摘される。彼らは皆、知覚とは単に外界から感覚を受けとるだけではないことを強調する点で共通している

多くの研究者が予測処理(PP)のアイデアを、十九世紀の物理学で医者・心理学者であった新カント派のハーマン・フォン・ヘルムホルツの仕事と結びつけてる。彼は「脳は仮説検証マシンである」と明示に著した最初の学者だ。
…中略…
他にも、予測処理(PP)の哲学的な発想として重要なのは、マッケイやナイサーやグレゴリーのような研究者の仕事もあり、彼らは「合成による分析(analysis-by-synthesis)」を提唱した認知心理学者たちに属している。この見方によると、脳は感覚によって受け取った情報を集めて(ボトムアップに)世界の内的モデルを作るというよりも、表象を作って集めた情報と比較しようとしているのだ。

Michał Piekarski "Understanding Predictive Processing. A Review" p.4より 1

こうした、いわゆる知覚の無意識的推論の考え方はギブソン派や反表象主義者に忌み嫌われており、その影響で日本でも誤解されていることはよくある。だがとりあえず賛否は別にして、正しく理解することが議論を先に進めるためには必要だ。この記事はそのきっかけを与えるのが目的だ

ヘルムホルツ本人の言葉を含んだ引用

まずは、よくこうした話題でよく挙げられるヘルムホルツについての論文からの引用をしてみよう

そしてこの点がヘルムホルツの考える経験説のハイライトになるのだが、経験的に形成された連合や反復は、「無意識的推論(unbewusster Schluss)」という形で働くとされる。ヘルムホルツのこの概念は非常によく知られている。「無意識」という言葉を異なる文脈に過度に引き付けるべきでないことは当然として、「推論」という言葉は本来意識的に行われる高度な論理活動を言うので、その名称は言葉だけを表面的に追う向きには誤解の余地を孕んでいるが、ヘルムホルツはその点についてこう説明している。

実際のところ、我々の感性的知覚において大きな役割を果たしている推論は、論理的に分析された推論の通常の形式で語られるものでは決してない。いつも歩いている心理学的分析の道から脇に行かなければならない。そうすれば、通常いわゆる推論において働いているのと同様の精神活動がここで実際に関わっているということが確信できる。論理学者の推論と、感覚を通じて獲得された外界の見方として結果が表れてくる帰納推理(Inductionsschlüsse)との間にある違いは、私には実際のところ単に外面的なもののように思われる。主に違うのは、前者は言葉で表現できるが、後者はそうではないという点である。何故なら、後者では言葉の代わりに感覚や感覚の記憶像しか見られないからである。(NF,358)

確かに神経繊維内で生じている事態を言語化することは困難であるが、そのため言葉こそ用いていないが、知覚の背後で働く「推論」は、命題や判断とも見なせるものである。

福田覚「ゲーテヘルムホルツ」p.63-4より

正直なところ、日本であまり理解されていないヘルムホルツについての引用をできた時点で個人的にはもう満足だ。だが、手元にあった本からたまたま今回の話題に都合のいい箇所を見つけた

リチャード・グレゴリー本人の言葉を含んだ引用

リチャード・グレゴリーは、私が学生時代に読んで好きになった学者だ。ここでは手元に持っていた認知心理学事典の錯視の項目からいい感じの箇所を引用しておきます

Gregoryの認知的錯覚に対する考え方は、知覚の理論化における経験主義、構成主義の伝統の内にある。このアプローチを要約する有名な格言に、Helmholtsの「知覚とは無意識の推論である」がある。Gregogy(1973, p.51)はこの点を、次のように説明している。

知覚とは、利用しうる感覚データと解決困難な知覚の問題に左右される、多少とも真実と思われる「結論」(ないし「仮説」)である。(それらは)感覚によって与えられたデータや記憶の中に貯蔵されている(データから)推論されるものである。この見方から言うと、ちょうどどのような議論であれ間違っているかもしれないように、どのような知覚であれ間違っているかもしれない。それは仮説が間違っているからかもしれないし、あるいは議論の形式が誤っているからかもしれない。知覚についてこのような考え方に立つなら、哲学者にとって逆説と曖昧さが議論の本質に対してもつ重要性、あるいは真実や事実の発見のためにいかにデータを用いるのか、ということの重要性と同じ重要性が、錯視にもあるといえる。

M.W.アイゼンク編「認知心理学事典」『錯視』 の項目 p.140より

学生時代に読んだリチャード・グレゴリーの錯視の説明には本当に感心したし、故に錯視をうまく説明できない直接知覚説には納得したことがない2。無意識的推論説の良さはもっと知られてほしい

ここまでが予測処理(予測符号化)の歴史的な先駆者としてよく挙げられる例だが、それはまだ本当は一部でしかない。これまで挙げてきたのは知覚の理論だったが、もう一つ重要なのは日本の学者による運動制御の研究である。知覚論と運動制御論の合流点に予測符号化があり、それを拡大して一般化されて予測処理や自由エネルギー原理が成り立ったのだと考えている

伊藤正男の講義録からの引用

元々の論文から引用するのは私にはキツイので、後々になされた伊藤正男の講義から、予測処理(予測符号化)と関連があると思われる箇所を引用してみます

この外界,もしくは脳内の他のシステムの入出力関係をコピーしたネットワークのことを内部モデルと呼ぶ.
ヒトはこの内部モデルを獲得することで,適応的な運動制御を学習することができると考えられている. 運動学習を実現するための内部モデルとして,運動指令を入力,その結果おこる運動(実際の体の動き)を出力とする,身体や環境の特性をコピーした内部モデル (順モデル),行いたい運動の計画を入力とし,筋肉に送る運動指令を出力とする,運動野での処理をコピーした内部モデル(逆モデル)の 2 種類のモデルが考えられる.前者の場合,運動指令からその結果を知る事ができ,ヒトが運動の結果を感覚刺激として受け取って処理する時間を無視して実行する運動の結果を予測することで,なめらかで正確な運動制御に貢献していると考えられる.また後者の場合,行いたい運動からすぐ運動指令を決定できるため,学習が進めば最適な運動の選択を素早く行う事が出来る.伊藤は,順モデルの獲得による運動学習を提案した(Ito, 1970).また逆モデルはその後に,川人らが提案したモデルである(Kawato, Furukawa and Suzuki, 1986).

「講演者:伊藤正男: オータムスクール ASCONE2008」p.95より

ここで重要なのは、脳に内部モデルが作られていることだ。これが予測処理(予測符号化)における生成モデルの重要性(およびそこから派生した表象主義論争)につながっている

予測処理のもう一人の先駆者C.S.パース

最後に、この話題では必ずしも出てはこないが、実は重要な先駆者としてパースを挙げておきます

ベイズ的な推理では、出力頻度だけでなく説明(仮説)そのものの特徴にも注意が払われているが、これは(ベイズ)知覚とは感覚入力の原因に対する脳の「最良の推論」であるというスローガンとして理解できる。ということは、ベイズ脳とは演繹でもなく帰納でもなくアブダクション (Hohwy 2014)であると言えるのだが、ここでいうアブダクションとは典型的には「最良の説明への推論」として理解されるものだ

Anil K. Seth"Inference to the Best Prediction A Reply to Wanja Wiese" p.2より

ただし、パースについては事情がややこしい。パース自身が知覚はアブダクションであると指摘している箇所は確かにある。しかし、アブダクション最良の説明への推論との関係については議論が紛糾しているところがある3。予測処理とアブダクションには共通点があるように見えるのだが、まだその辺りはあまり整理されていない 4


  1. この引用に対して細かい指摘をすると、ヘルムホルツは(当時の分類としては)心理学者というよりも生理学者とする方が一般的だし、「合成による分析」はナイサーが元々は工学における音声処理で使われていたアイデアを借りてきたものだ。内的モデルという言葉も、予測処理における生成モデル(表象主義論争)を考慮すると誤解を招く言葉遣いで感心しない。また論文の注では、Hohwyが中世のアラビアの学者Ibn al-Haythamをも先駆者として挙げていると指摘されてる

  2. 生態学的アプローチの系譜をたどると直接知覚説は必須ではないと感じる。ギブソンの影響が大きすぎることで、生態学的アプローチへの理解が偏っている気がする。ギブソンの知覚論についてはもっと当時の心理学的な背景から理解するべきだと思う。

  3. アブダクション最良の説明への推論については、同じではないことにはパース研究者の間でかなりの同意があるが、どの程度まで共通点があるか?については相当に意見が分かれている(無関係派もいる)

  4. パースについては個人的にいろいろと調べてはいるので、気が向いたら何か書くかもしれない。特にアブダクションについては前々からいろいろ調べてきてる

自由エネルギー原理にとりあえずの見切りをつけるために考えてみた

自由エネルギー原理には前々からしっくり来るところがなかった。私自身は予測符号化について勉強することから始めたので、自由エネルギー原理には後から接したことになる。自分は予測符号化には好意的だ。 しかし、自由エネルギー原理の源には予測符号化があるはずなのに、自分は自由エネルギー原理にはどうも馴染めなかった

自由エネルギー原理は現在流行っている最中で、認知科学オタクの私としては無視しきることはしがたい。とはいえ、予測符号化の拡張としての予測処理には個人的に興味が持てるのだか、自由エネルギー原理と予測処理との関係にははっきりしないところがあって、ずっとモヤモヤが拭えなかった

Daniel Williams "Is the brain an organ for free energy minimisation?"を読む?

そこで見つけたのが、つい最近出たばかりの次の論文 Daniel Williams「脳は自由エネルギー最小化のための器官なのか?」だ

Daniel Williamsは、私が前に2010年代のベスト3論文に選んだ著者の一人でもある。彼のいいところは他の学者が臆して書かないことを率先して書いてしまうことだ。前にベスト3に選んだ論文でも予測処理に群がるenactivismをくさしていたのが爽快だった。この論文もまだ他の学者が臆しがちな自由エネルギー原理への批判的論評をまるまる一本の論文で行なっている

同じく自由エネルギー原理でも、マルコフブランケットの使用を批判した論文は既にこのブログでも紹介したことがあるが、その後も(マルコフ一元論を含めて)同じテーマについての批判的論文が幾つも書かれている。だが、自由エネルギー原理の本丸である自由エネルギー最小化については、なかなか扱われにくかった

Daniel Williamsの論文にざっと目を通した後に、ブログ記事を書いて考えを整理して自由エネルギー原理に対して区切りをつけよう(わざわざ追うのはやめて様子見に移行しよう)とした。そこでこの記事を書くために改めて論文を読み直してみると、納得しがたいところが目につくようになった。論文の内容にそのまま沿って記事を書くのはどうもマズそうになってきた

自由エネルギー原理の基本を確認する

自由エネルギー原理について本気で説明しだすと大変なことになるので、最小限の説明を引用で済まします

自由エネルギー原理(FEP)を巡る現在の関心と論争の多くは、二つの特徴的な主張から起こっている:(1)それ(FEP)は自己組織化するシステムが存在する可能性の条件を定める、つまり「自由エネルギーを最小化しない自己組織化するシステムは存在できない」。(2)そこ(FEP)には、どのように脳が働くかを我々が理解するための重要な含意があり、「脳の統一理論」(Friston)や「認知科学と生物学のための大統一原理」(Hohwy)が提示されている
Daniel Williams "Is the brain an organ for free energy minimisation?" p.2より

ここで扱うのは主に一つ目の自己組織化システムの主張であり、二つ目の統一理論の主張はせいぜい副次的にしか問題としない。

次に、ここで大きな問題となるのが、自由エネルギー原理と予測処理論との関係だ。これについては以下の引用が参考になる

生物学的なシステムの適応的行動についての自由エネルギー手法(FEA)の見方には、驚き最小化が予測処理論で示されるような階層的モデルによって実行されるべきと要求する何かがあるわけではない…と気づく価値はある。とはいえ、他の予測処理論の文献では自由エネルギー手法と予測処理論の間にはきっちりした関連があるとする論者がいる…と分かっておくのも重要だ
María Jimena Clavel Vázquez "A match made in heaven: predictive approaches to (an unorthodox) sensorimotor enactivism" p.664の注13より

自由エネルギー原理と予測処理論は安易に一緒に語られがちだが、その関係は必ずしも明確なわけではない。上の引用で指摘されていることは、各種の数理モデルを比較した論文からの次の引用が明示している通りだ

自由エネルギー原理(FEP)は正確には何を予測し何を予測しないのか?この話題について語るのは易しくない、なぜなら自由エネルギー原理の適用の基盤に横たわる仮定は従順に変わりうるからだ(異なる適用によって異なる生成モデルや異なるアルゴリズム的な近似や異なる神経的な実装となる)
Samuel J. Gershman "What does the free energy principle tell us about the brain?" p.1

自由エネルギー原理と予測処理論に直接のつながりがある訳ではないことを、Daniel Williamsは「予測処理への高架道はない」("There is no high road to predictive processing")と表現している。Daniel Williamsはそれを示すために、自由エネルギー原理(FEP)を説明的FEPと記述的FEPの二つの可能な解釈に分けて説明している

自由エネルギー原理についての超越論的議論

実はDaniel Williamsの論文は、ここからが肝であると同時に罠だらけでもある。説明的FEPと記述的FEPについて議論する上で、超越論的議論(transcendental argument)にかなり頼ることになる。だが困ったことに、論文中に超越論的議論についてはあまり説明されていない

超越論的議論とは、カントを源としストローソンやストラウドが定式化した議論であり、ある物事が成立するための条件(前提)を問う形の議論だ。ものすごく単純化した分かりやすい例を挙げると…なぜ私達は因果を理解できるのか?それは私達には因果を理解できる能力があるからだ…となる1

では、自由エネルギー原理についての超越論的議論とはどんなものだろうか?

つまり、生きたシステムは驚きを最小化するはずだという主張は、自由エネルギー原理(FEP)そのものと置き換えられる。「非均衡安定状態を達成する全ての『もの』は、基礎的なベイズ推論(要するに自由エネルギー最小化)を成し遂げるかのように説明できる」
Daniel Williams "Is the brain an organ for free energy minimisation?" p.6より

要するに、自由エネルギー原理を前提にすると生きたシステムを上手く理解できます…ということだ。この超越論的議論を軸にして説明的FEPと記述的FEPについて論ずることになる

説明的FEPと記述的FEPを論ずる

説明的FEPと記述的FEPの違いは、自由エネルギー原理をどう解釈するか?にある。簡単に説明すると、自由エネルギー原理がメカニズムを表しているとするのが説明的FEPであり、自由エネルギー原理は説明ではなく現象の再記述だとするのが記述的FEP

ただ問題は、ここからのDaniel Williamsの説明的FEPと記述的FEPついての議論は興味深いが納得しがたい微妙さもあることだ。なので、ここからは私自身の見解を大きく交えることとなる

説明的FEPを吟味する

説明的FEPについては、超越論的議論を持ち出して話がややこしくはなっている。簡単に言えば、自由エネルギー原理はメカニズムを特定しないので説明的FEPには問題があるとなっているだけだ2。どうもDaniel Williamsの議論に切れを感じれない

個人的には、自由エネルギー原理はもともと予測符号化を源にしてるが、予測符号化以外のメカニズムも含みうるのにそれが特定化されていない…という状況が奇妙でしかない。私からすると説明的FEPは間違っているというより、正しいメカニズムがまだ分かってないのに、自由エネルギー原理が前もってメカニズムに限定を与えてるのが余計なお世話にしか見えない

正直、説明的FEPが正しいのかどうか?私には判断しきれないけれど、現時点において研究プログラムとして有効とはあまり思えない。メカニズムの研究は自由エネルギー原理とは独立にやればいいのであって、自由エネルギー原理からのメカニズムへの一方的な制約に意義があるとはどうも思えない

記述的FEPを吟味する

記述的FEPとは、(メカニズムによる説明というよりも)生き物の行動を「自由エネルギーの最小化を含んで再記述できる」(Daniel Williams 2021,p.12)とする解釈だ3

これについては、論文でも挙げられている合理的選択理論や進化生物学で行われているゲーム理論(進化ゲーム)による理論を想定すると分かりやすい。ゲーム理論(進化ゲーム)による説明は、行動のあり方のマクロな動きを説明してるだけで、個々の行動主体の行動決定のメカニズムを特定することはない。同じように、自由エネルギー原理も行動のマクロな描写を数理的にしているだけなのだ。

説明的FEPより記述的FEPの方がまだ説得力がある…とは感じる。ただ問題は、メカニズムと関係ない自由エネルギー原理がどう(メカニズムを扱う)認知科学にとっての統一理論たりうるのか?よく分からなくなることだ。少なくとも、予測処理論への通路は明示な形ではなくなってしまう。結果として、元々の源であった(メカニズムとしての)予測符号化との関係もよく見えなくなる。思ったよりも失うものが多そうだ

これは個人的に気づいたことだが、ゲーム理論とのアナロジー4を見てたら、自由エネルギー原理が本当に非均衡システムなのか?疑いが生じた。もちろんゲーム理論はたいてい均衡システムなのだが、自由エネルギー原理も均衡点がありうる気がする

例えば自由エネルギー原理でも論じられる真っ暗闇問題(dark room problem)とは、刺激がなければ驚き(予測誤差)も起こらないので動く必要がなくなる問題だ。ということは、自由エネルギー原理での振る舞いの複雑さは環境の複雑さを反映してるだけであり、環境が単調なら均衡点が存在しうるはずだ。もしかしたら自由エネルギー原理は偽装した均衡システムかもしれないが、だとしてもそれは予測処理論にも当てはまるのでここではこれ以上は議論しない5

おわりに

ここまで自由エネルギー原理の解釈をいろいろ論じてきたが、正直なところ自由エネルギー原理に見込みがあるのか?は私にはよく分からない。たとえ自由エネルギー原理が間違っているとしても、科学的な研究プログラムとしては(批判も含めて)様々な研究を生み出す点で生産的である可能性もあるので、安易に否定しさることはできない

それより問題は、自由エネルギー原理の解釈が曖昧なことで混乱も起こりうることだ。例えば、自由エネルギー原理にはenactivistも多く関わっている。その中にはラディカルな反表象主義者もいるが、それも自由エネルギー原理が力学的アプローチと友好的に見える解釈をも許してしまう曖昧さに原因がある。自由エネルギー原理は計算主義との関係を明確にするべきだ!と個人的には思う

何が正しいのであれ、どっちにせよ明晰な議論は必要であり、Daniel Williamsはそれを求めてこの論文を書いたのだ。そして、それは私の望むことでもある


  1. これはトートロジーでは?という批判は受け付けない。文句のある奴は自分で勉強しろ!超越論的議論についての説明はここでの主眼ではない

  2. ワットガバナーや境界を持った人工知能を挙げて、それらが変分ベイズが実装されてる訳ではない…とする説明もあるが、そもそもそれらは自己組織化システムとして相応しい事例なの?と疑問しかない

  3. 記述的FEPにとって、必要なデータが行動だけなのか?例えば脳の物理的状態のデータは必要ないのか?いろいろ疑問が湧かなくもないが、話がややこしくなりそうなのでここでは問わない

  4. 自由エネルギー原理でよく見る四対の図が社会学パーソンズAGIL理論と似ていることも均衡システムを思わせたきっかけだが、私は社会システム理論にそこまで詳しくない上に話がややこしくなるので、本文では省略した

  5. 物理学的な均衡とゲーム理論における均衡は違うよ!と言う人はいるかもしれないが、そもそも自由エネルギー原理が物理的レベルの話なのか?情報的レベルの話なのか?(ここまでの議論を見ても)よく分からない。物理的には非均衡システムだが情報的には均衡システムだ…というのは、もしかしたらあり得るのかもしれないが、ならば曖昧にごまかさずにちゃんとそういう議論もしろ!…としか言えない

今、ポーランドの認知科学の哲学が熱い!

今、ポーランド認知科学の哲学が熱い!

今の時代、様々な論文がプレプリントやオープンアクセスの形でインターネットで公開されている。認知科学関連の論文もネットで検索すると、英語で書かれた最新の論文がしょっちゅう見つかるので手に入れて読むことが多い。英語で書かれた論文は(日本語での論文に比べれば1)全般的に質は高めとはいえ、世界中の様々な学者によって書かれているので玉石混交なのは致し方がない。

最近も、ネットで手に入れた有象無象の(英語の)論文をよく読んでいた。最近の認知科学はコロナ禍と再現性問題が相まってややこしい状態にはあるが、自分はもともと(主に実験に基づく)オリジナル論文よりもレビュー論文や理論的(哲学的)論文を読むことが多いので、読みたい論文は減っていない。その中で、今年出たばかりのある予測処理理論の最近の展開を概観する論文を見つけて強く感心した。

それは上にリンクした Michał Piekarski"Understanding Predictive Processing. A Review" という論文だ。これは、予測処理理論の概略的な説明・ベイス脳としての議論・予測処理としての議論の順にまとめられているが、その構成がとても見事だ。理論の説明は、数式を一切使わずにキーワードで上手くまとめられていて分かりやすい。予測処理としての議論も、ここのブログで去年今年に取り上げた論文(「専制による統一」論文やフリストンブランケット論文)も参照されており、文字通りに最新の議論が手際よくまとめられている。予測処理理論は現在流行の最中で、(特に哲学者によって)乱雑に論文がたくさん作成されがちだが、その中でもこの論文は哲学的な概論としてとても優れている。今から予測処理理論に入るなら、まずはこれを勧めてもいい2

論文の質の高さに感心した後で、あらためて著者を確認してみるとポーランドの学者であることが分かった。納得!そうなのだ。近年、ポーランド認知科学の哲学は、圧倒的にレベルが高くなっているのには気づいていたが、こうして、また新しい学者による素晴らしい仕事が出てきたには驚いた。

自分が最初にポーランドの学者に気づいたのは、前にこのブログの2010年代のベスト論文にも選んだ Paweł Gładziejewski"EXPLAINING COGNITIVE PHENOMENA WITH INTERNAL REPRESENTATIONS: A MECHANISTIC PERSPECTIVE" がきっかけだ。これはネットでたまたま見つけた論文だが、始めて読んだときは〜認知科学にはまだこんな可能性があるのか!…と本当に感激した。予測処理理論の表象主義の議論ではこの学者の名前はよく出てくるのだが、参照されるのは別の論文であることが多く、この論文があまり知られていないのはとても残念だと感じる。

それからポーランドの学者という視点で眺めてみたら、もっと著名な学者が実はポーランドの人だと気づいた。それはMarcin Miłkowskiで、代表作は"Explaining the computational mind"という計算主義についての著作だ。この著作は私は読んでいないが、同じ学者によって書かれた"Objections to computationalism : A survey"という、計算主義批判を集めてそれにバッサリ反論した論文を読んだことがあり、個人的にとてもお気に入りになっている。最近はこの人は意味論的情報(Semantic Information)についての論文を幾つか書いており、個人的にはそれにも注目してるが、既にここで触れた重要な論文の共著者も実はこの人だったりする。

それは、Piotr Litwin&Marcin Miłkowski"Unification by Fiat: Arrested Development of Predictive Processing" 統一理論としての予測処理理論を批判した「専制による統一」論文だ。最近は、統一理論や万能理論としての予測処理理論(や自由エネルギー原理)を批判する論文は増えつつあるが、やはりこの論文が早くかつ質が高い。

他にもポーランドの学者はいなくはないが、今のところめぼしい活動をしているのはこの辺りだろうか。なぜポーランド認知科学が盛んなのか?私にはよく分からないが、共通に見られる独自の特徴はある。それはポーランドの学者が計算主義に好意的なところだ。近年は反表象主義の影響で計算主義に悪意を抱く哲学者も多い中で、これは注目すべき特徴だ。20世紀後半にオーストラリアでアームストロングを代表とする唯物論哲学が盛んになったことがあるが、もしかしたら21世紀のポーランドは計算主義的な哲学の場として将来は知られるようになるのかもしれない。


  1. ここで日本の認知科学ガラケー並のガラパゴス振りを語っても良いが、詳しくは別の機会にする。軽く説明すると、日本の認知科学は20世紀までは世界的水準の学者が普通にいたのに、21世紀に入ってから段々とガラパゴス化が進んでいった。ガラパゴス化は独創的な成果を生み出す可能性もあるので一概に悪いとは言えないが、20世紀までの状態との差があまりに激しくて、私のような認知科学オタクはかえって引いてしまうところがある。なぜそうなったのか?の個人的な見解はあるが、それをするともはや壮大な(?)日本社会論になってしまうのでこんな注では済まない

  2. あえて文句を言うなら、予測処理理論の歴史を語る上で、先駆的な研究者としてヘルムホルツやナイサーには触れられてるが、より直接的な先駆者である伊藤正男や川人光男には触れられていないは不満。ただし、この傾向はこの論文だけでなく、近年の予測処理理論の論文に全般的に見られる傾向である。当時までの文献をかなり網羅してたRick Grushの有名な予測符号化のレビュー論文ぐらい読んどけよ!…と個人的には思う