- substack notes向けに書いた独り言をこっちに転用。ただの思いつきであり、大きな間違いはないと思うが確認はしてない
フォーダー&ルポア「意味の全体論」は、(比喩や見栄ではない)私の文字通りの愛読書だが、最近もチャーチランドの章を読み返した。チャーチランドはコネクショニストとして有名だが、対してフォーダーはコネクショニズム批判で有名だ。この本でもコネクショニズムを批判に論じているのだが、今の大規模言語モデルの時代に読んでもなかなかに面白い。
フォーダーのコネクショニズム批判として有名なのは、言語の体系性を反映できないことだが、それは他の学者による最近の論文でも大規模言語モデルの欠点として指摘されている。これは大規模言語モデルが自然言語と異なる最大の欠点の一つだと思うが、まさにフォーダーはそれを三十数年前に指摘していた。つまり、三十数年も経ってフォーダー＆ピシリンによるコネクショニズム批判という宿題にやっと答えが出てきたのだ(ただし、自然言語に体系性が本当に必要か？は別の問題)。
この本では、チャーチランドに対して彼のコネクショニズム的な理論が意味論的か？心理物理学的か？ごっちゃになってると批判されているが、その点では現在の大規模言語モデルは意味論的モデルそのものだ(ただし大規模言語モデルは文法と意味の区別はない)。チャーチランドによる語だけで閉じた意味論的モデルは、語ごとのベクトルの近さで語の意味が定まるが、これは大規模言語モデルの語予測モデルに近い。ということは、大規模言語モデルは外部(知覚)との関係は全く反映されないので、チャーチランドの想定するような心理物理学的なモデルではない。もちろん、言葉から画像を生成するAIはあるが、これは語が何を指してるか？という指示はできてない(文全体が画像を生んでいる)ので、意味の理論としては成立してない。
形式意味論(可能世界意味論)-概念役割意味論(推論主義)-コネクショニズム(大規模言語モデル)…と並べてみると、指示で意味を決める形式意味論から、語同士の推論的な関係で意味を決める概念役割意味論、そして推論的な合理性さえ前提としない大規模言語モデル…と指示や論理の具合の違いが分かる。
形式意味論は、指示が意味を決めているので、意味に世界の構造が反映されている(だから形而上学と結びつく)。概念役割意味論は、指示は無関連で使用された語の関係が意味に反映されているだけだ。大規模言語モデルも特徴は同じだが、最大の違いは概念役割意味論では(推論による)論理が含まれているが、大規模言語モデルでは論理は偶然にはありえても、必然的には含まれていない(学問的には頑強性がないと言われる。つまり能力[性能]が不安定である)。大規模言語モデルが体系性を持たないのはそのせいだ。
概念役割意味論は意味に含まれる本質と偶然の区別がつかないと批判されるが、同じことは大規模言語モデルにも言える。例えば、医者が男性であることは医者という言葉にとって本質的ではないが、大規模言語モデルにはそれは分からない。医者が男であるという社会の側の偏りをそのまま学んでしまう。バイアスを直そうとすると、最近はその影響が他にも及んでしまったりもしている。これは大規模言語モデルの、(言葉の中で閉じてるが故に)外部世界の構造を反映できないことや(論理的な体系性を持てない原因である)モデルの極度な非線形性などに由来すると思われる。
私は大規模言語モデルは過大評価されていると前々から思っていた。ここまで見てきたように、少なくとも大規模言語モデルは自然言語を表す認知モデルとしては様々な問題があるのは確かだ。だからといって、大規模言語モデルを過小評価するのも誤りで、知識のないことでも思いつきでもっともらしいことを喋るのはある種の人間と似てなくもない。大規模言語モデルが意味を分からない…とするのは言い過ぎであり、意味の特定の側面ならなくもない(ただし、それなら他の意味の理論にも[側面が違うだけで]同じことが言える)。
以上、大規模言語モデルの時代に言語哲学はいらない〜的な旧ツイッターでの書き込みにムカついた私からの解答でした。ただし、言語哲学には形而上学や心の哲学とも結びついた広大な話があるので、この程度では本当は終わらない。
はっきり言えるのは、よく知りもしないことを敵対視して自分が偉くなった気になるのは下らない(ちゃんと勉強して正当な批判できるようになれ！)…日本はそんな奴ばっかりだよなぁ〜
