人工知能について考えてたことを軽く書いてみた - 蒼龍のタワゴト~認知科学とか哲学とか~

substackには気まぐれでなんか書いているが、メインのはてなブログにはしばらくの間ほとんど書いていない。別に書きたいことがなくなった訳ではないが、書かなくなった理由は幾つかある。
最もシンプルな理由は、最近は新刊を読まなくなったのでそれをネタに書く機会がなくなったことだ。興味のある出版物は(以前よりは減ったが)なくはないのだが、新刊を買ってまでして読もうとする気にはなれない(近所の図書館にも目ぼしい本が入らない)。新しい論文をネットで調べて読むことは今でもしてるが、正直あまり面白い論文はない。
今は自分だけの興味関心に沿ったものばかり読んでいるが、それを安易に書く気にはなれない。自分は流行や時事に流されてる奴らのことなど軽蔑してるが、そのじつブログの記事のテーマはその時期の事情で選んでいる(ただしそのテーマを書くのが早すぎてその意義が理解されにくい)。

この前ちゃんとブログに書いたのは極右の源としての保守革命だが、この前の選挙の結果で、とうとう日本でも本格的に極右に関心が集まる時代が来てしまった。でも、他の人の関心が集まってしまったテーマについて書く気はない(それは他の人がやればいい)。

人工知能について書かなかった理由

しかし、私がブログを更新しなくなった最大の理由は人工知能の発展にある。ブログを読んでくれた人には分かると思うが、自分は生成AIが流行る前にはむしろ人工知能について積極的に書いていた。だが、流行ってからは人工知能について書かなくなってしまったが、これは単に生成AIの流行のせいだけではない。
それどころか、世間で騒がれているAIの話の偏りは不満があった(特に過大評価が嫌だった)。それでもAIについて長らく書かなかったのは、自分よりも生成AIに夢中な人が沢山いるから放っておけばいい(自分が書いても焼け石に水)という気持ちもあったが、それ以上に人工知能の発展が激しくてすぐに最新事情に合わなくなるのが分かったからだ。AIの最新事情についてなら私より詳しい人がいくらでもいる。
実は人工知能についての新しい論文は幾つも読んでいた。それは別に私が人工知能が好きだからではなく、認知科学の中でも生成AIの研究が多くてブームみたいだからだ。ただし、その多くが生成AIと人間との(実験的な)比較みたいなものだった。だが、それもその時点の生成AIとの比較であって、その研究時点の欠点は最新版では直されていることもあった。もちろん理論的な研究もあったが、それもいつの間にか最新のAIに取り入れられていて、書くタイミングが分からなくなっていた。

なぜ生成AIは幻覚を起こすのか？

それでも唯一書こうとずっと計画してたのは、なぜ生成AIがハルシネーション(直訳は幻覚だが実態は作話)という平気でもっともらしい嘘をつくという問題を原理的に説明しようとすることだった。ただ、それも最新事情を恐れてなかなか書く気になれなかった。そしたら、最近のネット記事で「ハルシネーションは不具合ではなく仕様である」とあって、その通りだ！と思った。

一般的なハルシネーション(幻覚)についての説明では、学習に誤ったデータを用いることやデータにないことを聞くことがよく挙げられるが、この説明だと幻覚が仕様であることがうまく理解できない。仕様というよりデータの問題と思われて、正しいデータを増やしさえすれば解決する(データの隙間をなくせる)と思われてしまう。

大規模言語モデルは百科事典のようなデータベースでない

基本的なアイデアは、大規模言語モデルとは統計モデルであり、データベースではないことを理解することだ。データベースは事実や知識をそのまま蓄積しているが、統計モデルとしての大規模言語モデルはデータを圧縮してモデル化した(統語論も内部に含んだ)意味論なことだ(ここでの意味とは語同士の確率的な結びつきのことだ)。
これを関数から説明しよう。つまり有限なデータとしての点を関数[有限のパラメータから無限の点を生む]へと圧縮するのが統計モデルであり、統計モデルの中身はこうした関数である。統計モデルとしてのニューラルネットワークとは極度に非線形な関数であり、その絡んだ蔦(枝)をデータに合わせて適度に刈り込んで出来上がっている(その柔軟な非線形ゆえに論理的な推論は本来は得意ではない[ただし最近は工夫でそれなりにできるようになっているが、根本の特徴は変えようがない])。
つまり、大規模言語モデルとは(百科)事典[これだけでは文を生成できない]ではなく、(文法も含んだ)辞書[これだけで文を生成できる]なのだ。事典には様々な知識が載っているけれど、辞書にあるのは意味(と文法)であり知識は載っていない。ただし、場合によっては意味だけで知識の代わりをできることもあるが、そうでない時は幻覚(ハルシネーション)を起こすのは必然的だ。
この話題は、クワインの分析的/総合的の区別への批判とかにつなげて、哲学的に話を広げることもできる。例えば医者が男性であることが多いという社会的な事実は「医者」の意味に含まれるのか？(ただし、生成AIではこの程度の偏見なら強化学習で修正できてしまうが、全てを修正するのは難しい上に、修正することで別の性能が悪化することもある)。分析的=意味と総合的=知識(事実を含む)は一緒なのだろうか？

ニューラルネットワークは認知モデルに相応しいのか？

正直いうと、最近の人工知能にはそこまでの興味はなくなってる。今の人工知能はニューラルネットワークを基盤にしている。私にとってはAIには認知科学的な興味があったが、ニューラルネットワークが認知モデルに相応しいのか？は20世紀末のコネクショニズムのブームが終わってからもずっと疑問だった。
深層学習から生成AIに至るブームの良いところは、その私が長らく持っていたニューラルネットワークへのモヤモヤを解消してくれたことだ。答えははっきりしてる。ニューラルネットワークは(古典的人工知能と共に)認知モデルには相応しくないと思えたことだ。
勘違いしてほしくないのは、今のAIを人間より劣っていると考えている訳ではないことだ。AIと人との色んな比較論文を読んで思ったのは、単にそれらが違うことだ。AIも(幻覚のように)間違いをするが、人だって色んな間違いをする。重要なのは、人とAIでは間違い方のパターンが違うということだ。逆に言えば、人とAIでは賢さも違うということでもある。
今や生成AIは(元から近くない)認知モデルからどんどん離れていっており、私の興味対象ではあまりなくなっている。むしろ、今のAIの問題は社会や資本主義の問題として考える方が重要だと思う。でも、それはこの記事で書きたいことではない。
この記事でのAIについての説明はかなり雑なものであり不満がなくもないが、これ以上にちゃんと書くのは面倒でしかない。