心理学評論が事前登録制はじめるってよ!でもねぇ〜

心理学評論のプレプリントで見たけど、追試だけ事前登録制を適用するらしい。心理学で騒がれている再現性問題については、今年よい本が翻訳されたのでそれが読まれれば問題ないだろう…と思っていたがどうもそうもいかなそうだ。

そもそも心理学評論がレビュー論文が中心でオリジナル論文はあまり掲載しない学術誌であること(そもそも事前登録制は必要ないのでは?)は脇に置くと、何が分かってないって、追試が掲載されない問題と事前登録制で解決されるべきHARKingの問題が別々の問題なことが分かってないことだ。

HARKingは追試が相手にされていなかったこれまでの心理学研究で主に起こった問題だ。要するに、追試とかでない普通の心理学研究でこそHARKingが起こりやすいのだ。むしろ追試はするべき実験が前もって定まっているので、HARKingは却って起こりにくいはずだ。どうも追試の問題とHARKingの問題が混同されてる匂いがプンプンしてくる。

HARKingの一例を説明してみる

HARKingについては本気で説明しようとすると大変だが、一つだけ説明する。

心理学研究で有意差を出そう

大雑把に説明すれば、心理学実験はある条件の元でどのような効果が出るのかを調べるものだ。条件(例えばうるさい環境での記憶)と効果(例えば記憶テストの結果)の関係を調べて、その間に有意差が出たら条件と効果に関係があると分かる。ここで本来ならどんな条件でどんな効果が出るはずだという仮説を立てて実験すべきだ。しかし、せっかく苦労して実験しても何も意味のある成果も出ないのは困りものだ。その悩みの種を解消するための方法がある!一つの実験で条件や効果を同時に沢山調べてしまうことだ。同じ実験でいろんな尺度を測っておくなどで一度に沢山いろんなことを同時に調べておけば、その内のどれかは有意差が出てくれるはずなので、実験にかかる費用や手間が無駄にならなくて済む。あぁ、なんて素晴らしいやり方なんだろうか!!

さて、有意差とはなんだろうか?簡単に言えば、起こりそうもないことが起こったときはそこには何かがあると考えることだ。サイコロを十個振って全て一の目が出たとすると、単に凄い偶然かもしれないが、そもそも一の目が出やすいサイコロなのかもしれない。有意差とは凄い偶然は滅多に起こらないということから導かれている。記憶テストの結果がこんなにひどいのはうるさい環境で記憶したからなんだ!それは単なる偶然ではない!

そこで沢山の尺度を測っておいてその有意差を調べる実験を考えよう。その内の一つの尺度が有意差が出たとする。つまり滅多にない事態が起きたのだが、それは単なる偶然とは思えないからそれは意味のある事なのだ!しかし、それは本当に滅多にない事態が起きたのだろうか?

なぜ尺度を沢山測る方法が問題なのか

ある尺度に有意差が出るかどうか調べるのは、あるサイコロがイカサマでないか調べるのと統計的には同じことである。一つの尺度に一つのサイコロが対応するとすれば、有意差が出るのは仮想上の百面サイコロを振って一度で一の目が出るのと変わらない。やった!一回で一の目が出たぜ!えっ?でもそれは本当に一度でその目が出たと言えるの?

どんな偶然も何度も試せばいつかは必ず起こる。私が難病にかかる率が凄く低くても、世界じゅうの誰かはその難病にかかってるかもしれない。百面サイコロも百回振れば一度ぐらいは一の目が出る。一つの尺度に一つのサイコロが対応してると考えると、沢山の尺度を測るのは沢山の別々のサイコロを振るのと同じだ。イカサマのない一つのサイコロも何度も振れば一の目はそのうち出る。沢山のサイコロが全てイカサマなしで一つのサイコロを一度づつ振るだけであっても、実はやってることは同じだ。そのサイコロを振ったのは始めてだとしても、サイコロを振るという試行は既に何度も繰り返されている。そりゃあ、どれかのサイコロ(尺度)は偶然みたいな結果になるだろうけど、それはもう滅多にない事態とは言えないよ!

沢山の尺度を測っておいて、有意差が出たものだけを公表するのはHARKingの典型的な手法である。そこに含まれる問題は上の説明で分かるはずだ。しかし、本当の問題はその有意差の出た尺度を、前もって調べようとした仮説であると詐称することだ。同じ結果でも、有意差の出た尺度だけ発表するのと、有意差の出なかった全ての尺度と共に公表するかで、それを見る側の解釈は異なってしまう。本当は何度も(別々の)サイコロを振ってたくせに、滅多にない偶然が出た動画だけを巧みな編集で公開して超能力のある証拠だ!と言うのと同じだ。

まずは事態を正しく理解しよう

ここまで説明すれば、なぜ事前登録制が必要なのか?も分かるし、それは調べるべき尺度が前もって分かってる追試では意義が薄いのも分かるはずだ。仮説検証型の研究一般にこそ事前登録制は適用されるべきなのだ!

ちなみに、私自身の見解を述べると、心理学研究に事前登録制は必要だが必須ではないと思う。あっさり言うと、厳密な仮説検証型の研究をしている心理学者がそこまで沢山いるとは思えない。むしろ問題は本当は探索型の研究をしてるくせに仮説検証型の研究の振りをすることだ。それこそがHARKingが起こる原因でもある。探索型であれ仮説検証型であれ追試であれ、分担して研究を進める必要が理解された方が良いように思う。