前に書いたブログ記事で、自分はAIには科学的な興味は失ったと書いた覚えがある。実際に、今でもニューラルネットワークを用いた今のAIが認知モデルに相応しいとは思ってない。時々見かける、あまりにも素朴に今のAIこそが認知モデルだ！と信じてる学者がいても、どこが？少しは冷静にものを見ろよ！ぐらいにしか思えなくなっている 1。
しかし、そんなAIへの科学的な冷めた視点はあるネット記事を読むことですっかり醒めてしまった。それはWIREDのネット記事「それでもやはり、AIは思考しているのか」である。
この記事の著者は認知科学に詳しい人なので、私のような昔ながらの認知科学好きには面白すぎて夢中で読んでしまった。その記事の前半で描かれている今の生成AIへの凄さと限界の説明はとてもよく書かれている。
だが、私のような認知科学オタクが衝撃を受けたのは記事の後半だった。そこでは「ゲーデル・エッシャー・バッハ」で有名なダグラス・ホフスタッターに関連づけて大規模言語モデルについて論じられていた。（最近は新しい論文も読んでもつまらないというのに）、近年でこんなに興奮して読んだ文章なんてあっただろうか？
アナロジー（類推）とは何か？
この記事を読んでから、ホフスタッターがアナロジーについて書いた文献としてデネットが勧めていた中で、唯一翻訳のある「メタマジックゲーム」は既に手元にあったので、そのアナロジーの章もとりあえず読み返してみた。確かにそこに出てくる例は記事で説明されているものと似ている。
古典的な例を挙げるなら、「パリ」という単語ベクトルから「フランス」を引き、「イタリア」を足すと、ほかのベクトルのなかで最も近いものは「ローマ」になる。
「メタマジックゲーム」に出てくるのは「ファーストレディー」の例で、イギリスには大統領がいないけど、イギリスのファーストレディーという言葉を理解できるのか？という話だ。これは上に引用した多次元ベクトルの話に見事に当てはまる。つまり…
- 「パリ」－「フランス」＋「イタリア」＝「ローマ」
- 「ファーストレディー」－「アメリカ」＋「イギリス」＝ ??
一応、少し古いが手元にある認知心理学事典のアナロジーの項目からも引用しておこう（どっちにせよ新しいめぼしい文献も大したのはない）。
知識を多次元空間として表現し, アナロジーをその多次元空間のある部分空間から他の部分空間への写像としてモデル化した。彼らによれば、「馬とシマウマの関係は、犬と何の関係に等しいか」 というアナロジー問題に対して、被験者は、馬に対するシマウマの位置関係と同じ関係を犬に対してもっているもの(たとえば、キツネ) を答えるということを見いだした。
M.W.アイゼンク編「認知心理学事典」p.2 アナロジーの項目より
つまり、二つの対象（ベースとターゲット）の間にある構造的な類似性に対応関係を見つけるのがアナロジー（類推）だ。アナロジーについては心理学的な研究の蓄積（最も有名なのはガン治療の例）があって、本当はそれについても書きたかったのだが、準備に時間がかかっていつまで経っても記事を書けそうにないので、拙速でもいいからともかく書いてみたい。
コネクショニズムにおける二つの意味論
ホフスタッターのアナロジー論がどう現在のAIとどう関係するか！を論ずる前に、まずはこの方面（ニューラルネットワーク論）では有名ですぐに思いつきやすいポール・チャーチランドの哲学について語りたい。
チャーチランドの状態空間意味論
チャーチランドについてはもっとちゃんと語るためにきちんと準備したかったが、これもきりがないので私の大雑把な説明で済まします（ちゃんと知りたい人はちゃんとした文献を見て下さい）。
今の主流のAIの基盤であるニューラルネットワークは、（WIREDの記事にもあるように）多次元ベクトル空間として理解することができる。現在のおしゃべり人工知能である生成AIの源となるモデルは、大規模言語モデルと呼ばれている。大規模言語モデルではベクトルの単位は基本的に語であるが、対して（これまたニューラルネットワークを用いた）チャーチランドの状態空間意味論（近年は領域描写意味論とも呼ぶ）は、ベクトルの単位は感覚である。
チャーチランドの状態空間意味論では、感覚を学習して分類するモデル（今風に言うなら識別モデル）が想定されている。チャーチランドの時代（二十世紀末）はまだちゃちなモデルでしかなかったが、今やニューラルネットワークによる識別モデルは高度なものになっている。チャーチランドの出す例は色や顔だが、今なら写真から名前が分かる植物図鑑のアプリがある。 ただし、植物図鑑のような単語レベルのラベリングならうまくいってるが、もっと複雑な文レベルのラベリングだと現在でもなかなか難しい（これは後で述べる理由とも関わりがある）。
チャーチランド的な識別モデルとは画像へのラベリングと言えるが、もちろん識別モデルがあるなら生成モデルもある。これは言葉から画像や映像を生み出すAIであり、その成果は広く知られるようになっている。しかし、こちらの方はWIREDの記事にもあるように、物理法則を理解できないなどフィジカルな要素に弱い。
一般的に、AGI（汎用人工知能）として期待が寄せられがちなのは大規模言語モデルの方であり、画像や映像の生成AIの方ではない。これは今のところそもそものモデルの構造（例えば単なる頻度として以上には物が下に落ちるが分からない）に由来すると思うので、今のままでは解決は難しいと思う（ただし、拡散モデルによってノイズに強くなったように、将来的に解決策が見つかる可能性がないとは言い切れない）。
チャーチランドについてはまだまだ語ると切りがないのでここで済ます。どうせ、ここではチャーチランドはホフスタッターの理論との対照のために説明してるだけだ。
ホフスタッターのアナロジー的な意味論
アナロジーについては既に説明した。WIREDの記事にもあるように、現在のおしゃべりAIの基盤となる大規模言語モデルの多次元ベクトル空間にはアナロジー構造が潜んでいる。既に例を出したアナロジーの事例はシンプルだが、（文脈を含んだ）もっと複雑なアナロジーがあるのは確実だ（おそらくそれはTransformerによって実現している）。
大規模言語モデルによる生成AIの特徴は次のようにまとめることができる。知識や事実に基づかないハルシネーション（幻覚）を起こす点では信頼性は低めと言わざるをえない（前にも説明したように、その原因は大規模言語モデルが統計モデルであるせいだ）。
しかし、大規模言語モデルの生成AIが文法的に正しいもっともらしい文を次々と生み出せる流暢性はとても高い。この高い流暢性が可能なのはなぜか？は不思議に思っていた。おそらくそれは、大規模言語モデルの高次元ベクトル空間に潜むアナロジー構造にあるのではないか？とにらんでいる。そのアナロジー構造に言葉の文法と意味が同時に反映されているようだ。
大規模言語モデルによる生成AIはただの確率的オウムと揶揄されたりする（私は前に連想ゲームだと言ったことがある）。これは仕組みの理解としては間違っていないけれど、しかしそのオウムの内側にはアナロジー構造を持った複雑なモデルがあると考えると、揶揄としては甘いところがある。これでは動物なんて条件づけされた機械でしかない…といってる人と変わりがない。
もちろん、研究が十分に進んでない段階で確定的なことは言えるわけもなく、あくまで推測を多く含む。だが、大規模言語モデルの流暢性の秘密がアナロジー構造にあるのでは？と気づかせてくれたWIREDの記事には感謝しかない。
ただし、この記事を最後まで読むと、ホフスタッターがこのAIの成果をあまり喜んでいないことが分かる。創造性の秘密が明らかになったことで失望してるとさえあり、そこで記事は終わっている。悲しい終わり方であるが、私自身はこの失望を共有していない。なぜなら、人間の創造性がAIによって解明され尽くした…とはあまり思ってないからだ。
コネクショニズム的な二つの意味論を位置づける
当初この記事のテーマを書く上で、言語哲学や心の哲学における意味論と結びつけて解説したいという計画を立てていた。これも過大な計画であることにだんだん気づき、このままではいつまで経っても記事を書けないことが分かり始めた。しょうがないので見切り発車でこの記事を書いてるが、少しだけ初心を貫いてみたい。
これまで見てきたように、コネクショニズム的な意味論は大きく二つに分けることができる。それはチャーチランドな意味論とホフスタッター的な意味論だ。
色んな意味論を地図の中に置いてみる
ChatGPTが出てきた当時に、その大規模言語モデルを解説する上でよく比較として出されたのは推論主義だ。哲学者ブランダムによって有名になった推論主義だが、その特徴は言語の中で閉じた意味論なことだ。（真理条件意味論と違って）確かに言語に閉じた点では大規模言語モデルと推論主義は似ている。しかし、推論主義が論理性を前提にしてるのに対して、大規模言語モデルはその前提がない（だから大規模言語モデルは論理的な推論はあまり得意ではない）。当時からChatGPTの話題に推論主義を引き合いに出す論文を読んでて、言われてる程には似てないのでは？と思っていた2。
推論主義は、真理条件意味論に対しては概念役割意味論や証明論的意味論と同種に分類される。あくまで外界を参照して意味を定めるような真理条件意味論とは異なり、概念役割意味論は語同士の関係（または証明のような連なり） によって意味が定まる。
ここでは言語哲学的な意味論を真理条件意味論と概念役割意味論の二つに大きく分けてみよう。こう考えると、感覚と結びついたチャーチランド的な意味論は真理条件意味論と、言語の中で閉じたホフスタッター的な意味論は概念役割意味論と同じ側にある。 とはいえ、論理を基盤にした（言語哲学で主流の）意味論と人工神経網を基盤にした意味論とで特徴は異なる。大規模言語モデルの欠点の一つに構成性（又は合成性） があまりないことが挙げられるが、それも論理を前提にしてないのが原因であろう。
| 意味論 | 論理 | 人工神経網 |
|---|---|---|
| 外界 | 真理条件意味論 | チャーチランド型 |
| 言語内 | 概念役割意味論 | ホフスタッター型 |
意味論を二つの軸で分類することができる。一つ目はもちろん論理に基づくか？人工神経網によるか？の軸だ。もう一つの軸は、外界（感覚）を参照するか？言語の中で閉じてるか？だ。現在の生成AIは二つ目の軸を無理矢理に一つに混ぜているが、部分的には成功してなくもないけれど、そんな簡単には混じり合ってないと感じる。
ホフスタッターの失望を共有しない
ここでやっとWIREDの記事の終わりでのホフスタッターの失意にたどり着く。ホフスタッターは今のAIの到達によって人の創造性の秘密が損なわれたと感じてるようだ。しかし、それはホフスタッターのアナロジー論が言語の中で閉じたものだからであり、実際のアナロジーは外界に開かれたもののはずだ。
例えば良く出る例として、ベンゼン環の発見は夢の中に出たウロボロス（尾を噛む蛇）にあるとされるが、こんなのは元々の言語の中にあるアナロジーにはなかったはずだ。新しいアナロジーを生み出す力は今のところ人間にしかないように見える。
こうしたアナロジーを生み出す力は、二つ目の軸である感覚に基づく軸と言語に閉じた軸の組み合わせにあるが、これらはあくまで異なる構造を持つので安易にはくっつけられない。この問題がそんな簡単には解決するとは私は思っていない。
私は今の世の中にある人工知能に対する過大評価や安易な楽観が大嫌いだ。そういう人達はたいてい認知科学への知識や興味も薄いので、話も薄っぺらい。その中でWIREDの記事は素晴らしいが、あのホフスタッターが失望してるのには驚いた。
しかし、既に説明した理由で私はホフスタッターの失望を共有していない。大規模言語モデルはアナロジー構造を持ってるかもしれないが、それはまだ外界（感覚）には開かれてはいない。私が本当に懸念してるのはホフスタッターとは異なる方向だ。
おまけで、今どきのAI論に少しだけ愚痴を言う
むしろ心配してるのは、人がAIに対する優位性を自ら手放してしまうことだ。もし人がAIのようになってしまうなら、そもそもの人間自体がいらないと結論づけられる。AIを過大評価してる人は、自らの価値をも下げてる（AIが凄くてもお前が偉い訳ではない）のに気づいてない点でただの馬鹿だと思ってる（なら優秀なAIの代わりにお前がいらない）。
ただし、AIへの過大評価と同じぐらい過小評価も間違っている。その点では今、もっとも聞くに値するAI論はSF作家のドクトロウによるものである。彼の逆ケンタウロス論の要約は以下のリンクから読めるのでお勧めだ。
とはいえ、人工知能に対する大騒ぎは今回が始めてではないのを知っているので、そこまで気に病んではいない。必要なのはきちんとした議論をすることであり、かつ正しい知識や事実に基づいて論じられるべきだ。
なのに、SNSを見てると思い込みが激しくて他人の話を全く聞いてない書き込みばっかりでウンザリしてくる。そんなのSNSの特殊な事情だろ！と思えたら良いのだが、（マスメディアを含む）他のメディアを見てると、最近はそう思えなくなってきた3。
- 今のAIの主流であるニューラルネットワークが認知モデルに相応しいか？は議論すると大変なので省略する。例えば大規模言語モデルは基本的に多言語対応だが、もちろん人間は母国語を持っておりバイリンガルでさえ少ない。大規模言語モデルが多言語が可能なのは、内部で自動的に各言語（プログラミング言語や数学を含む）毎に大雑把にまとまりができるからだと思うが、そんなの人間の脳にあるわけない（そもそもその能力がない。そんな能力があるなら、皆すらすら翻訳や通訳ができてるはずだ）。↩
- 他にも、大規模言語モデルと推論主義の共通点として用法の重視も挙げられるが、私には用法という言葉の意味が曖昧模糊としていて分かりにくい（特に語用論的な要素の扱いが怪しい）ので、ここでは取り上げない。似た問題としては、文脈という言葉もAIにおいてと会話においてとで意味合いに違いがあるのに雑に使われているのを見るのがすごく嫌だ。AIでの文脈は文字通りに文（周りの文字）しか見てないが、会話における文脈は環境や社会まで含んだ広いものにもなっている。もちろん現存のAIがそんな広い文脈まで分かってるはずがない。↩
- 私は今でもラジオはよく聴いてるが、正直なところラジオ番組は全般的につまらなくなってる。ポッドキャストの方がまだ面白いものがあるが、聞いてたポッドキャストが次々と終わる経験もしてるので楽観はしてない。ネット上の情報の質も前より下がってると感じる（生成AIの影響もあるのかもしれないがよく分からない）。質の低下はオールドメディアかネットメディアかに関わらず感じる。価値のあるものが欲しいなら金を払え！ということかもしれない（私的なものならそれでいい）が、公共性の高いものまでそうなってしまったらおしまいだ。↩
