この前、ツイッター上で統計に主義はいらないか？でもめてるのを見た。結果としては大した議論にはならなかったのだが、実はそれと同じ内容を日本の学者が主張しているのを既に見ていて、違和感はあった。海外の学者がそんな主張をしているのを見たことはない。
統計に主義はいらない論は、日本の一部の統計学者が主張している。その学者たちは赤池弘次からの影響を主張しているのも見たことがある。しかし、赤池弘次が確率の解釈や統計のパラダイムを論じている論文1を見つけて読んだら、その影響がどんなものか？かなり怪しく感じた。
正直、日本の学者が非標準的な話を注釈なしで平気でするのには慣れてる(仕方ないので海外の学者を参照する)ので、そこは(直してはほしいが)あまり気にしてない。しかし、統計に関しては海外も含めてそもそも整理されていない所が多すぎる。
統計について私が気づいた注意点
という訳で、私が今のところ気づいた統計の話についての注意点を羅列してみた。私の勘違いが混ざってる可能性はゼロではないので、そこは各自でご確認ください。個々の議論はそのうちやる気が出れば別の記事でやるかもしれません。
頻度主義vs.ベイズ主義における、「頻度主義」の安易な使用はやめてほしい。頻度主義は本来は確率の解釈の用語なのに、統計のパラダイムにも同じ用語を使うのはややこしい。古典的統計を使う方が妥当
「頻度主義」を使うにしても、そこにネイマン&ピアソンだけでなく、フィッシャーをも含むのはやめてほしい。ネイマン&ピアソンは試行の無限繰り返しを前提にしてるからまだ許せるが、フィッシャーはその前提を受け入れていないので、頻度主義と呼ぶには相応しくない
統計的検定において、p値を信頼区間に変えれば問題が解決するかのような主張はよく見るが、どっちを使ってもやってることにあまり変わりはない。google:大久保祐作 會場健大 p値とは何だったのかのAppendixを参照
統計的検定において、古典的統計をベイジアン(特にベイズファクター)にすれば問題が解決する…とする主張はよく見る。しかし、解決するのは主に停止規則の問題ぐらいで、どうすれば有意であると言えるか？の基準が必要なのはどっちみち変わらない
ベイジアン2における事前確率(事前分布;どっちも英語ならprior)の問題は今でも解決してない。ベイジアンが普及したのは、このprior問題の解決とは関係ない。だから、主観的確率がいらないなんてことはありえないし、実際に主観的確率を採用してる学者は現在でもいる。
事前分布に無情報事前分布を採用すれば問題は解決する…とするのは誤り。特に無情報事前分布の代表である一様分布を採用すれば構わないと思ってる人は多い。しかし、一様分布は変数を変換すれば無情報ではなくなるが、どの変換が正しいかは自明ではない;google:山村光司 統計の哲学 RD基準の背景について]も参照。これは論理的確率の問題に遡れる問題でもある;[google:高尾克也 無差別の原理とBertrandのパラドックスを参照。
こうやって書いてて思ったけど、確率の解釈と統計のパラダイムがごっちゃに語られるのは混乱の元でしかないと思う。
例えば、確率の解釈としての頻度主義とネイマン&ピアソンの頻度主義は同じ名で呼ばれがちだが、無限試行の他にどのくらい共通点があるかよく分からない。確率の解釈としての頻度主義では極限が注目されるが、ネイマン&ピアソンの頻度主義ではむしろ分散や誤差が問題になる。
他にも、ベイズ主義として一緒くたに論じられがちだが、無情報事前分布は論理的確率と本当は結びついている(ハロルド・ジェフリーズ)が、主観的確率と一緒にされがちなのはややこしいだけ。論理的確率と主観的確率は一応分けてほしい。少数とはいえ、論理的確率を採用する学者も海外にはいる。
以下は、完全に個人的な見解
最後に、完全に個人的な見解を述べます。統計は尤度を中心にして教えられるべきだと思う。歴史的には、尤度主義は古典的統計よりもベイジアンよりも後に登場したが、歴史的な順とは逆に教える方が効率的だと思う。
ベイジアンはもちろん、古典的統計でも尤度の考え方は活用されている。ただし、古典的統計では尤度原理が採用されてないので気づかれにくいだけだと思う。私にはp値が尤度と全く無関係には見えないし、実際にp値を提唱したフィッシャーは尤度の重要性を提示した学者としても有名だ(ちなみにp値と信頼区間が交換可能なのは既に触れた)。
尤度を単に高めるのを目標にするとモデルの過剰適合(overfitting)が起こる。各種の統計パラダイムはこれを修正する(しない)のが目的だ。古典的統計とベイジアンの最大の違いは、事前確率の想定と共に尤度原理が成り立つかどうか？にある。最近は尤度原理は成り立つ方が良いと信じられがちだが、赤池弘次によってそれは批判されている;google:赤池弘次 確率の解釈における困難についても参照。各統計パラダイムを反映したAICやBICの式を見ると、これらが尤度への修正なことがより分かりやすい。
尤度は過剰適合を考慮すると、ニューラルネットワークともむすびつけられる予感はするが、まだ私にはよく分からない。
