以前ネット上の心理学ニュースを見ていた時に(特に社会心理学の実験で)こんなのたまたま有意差が出ただけで、同じ実験を繰り返しても同じ結果が出るわけないじゃん！という奇妙な研究成果を何度か見たことがある。そのせいで、ネット上の心理学ニュースを真面目には追わなくなった記憶がある。10年近く前の話なので例は出せないが、心理学の知識がない素人でも首を傾げるような奇妙な研究というのは心理学にはよくある。
特集「心理学研究の再現可能性」
心理学評論の特集「心理学の再現可能性：我々はどこから来たのか 我々は何者か 我々はどこへ行くのか」 | D'où Venons Nous Que Sommes Nous Où Allons Nousがオープンアクセスによって一般公開されているので、論文のPDFを誰でも読むことができる。とはいえ、専門的な学術誌なのである程度の知識（少なくとも最小限の実験計画と統計的検定の知識）がないと理解は難しいが、とりあえず巻頭言だけでも読んでみるといいと思います。私はサイナビの特集記事「心理学研究は信頼できるか？――再現可能性をめぐって（1）」によってこの問題を初めて知ったのが、興味がある人にはこちらもおすすめします。
巻頭言 | 特集「心理学の再現可能性：我々はどこから来たのか 我々は何者か 我々はどこへ行くのか」を読んでもらうと分かるように、心理学研究の追試を行ってみたところ同じ結果が再現されたものが少なかった(40%以下)という話だ。だが正直な所、たとえ最小限の知識があったとしても、この特集の記事(やサイナビの記事)を漫然と読むだけでは問題点が見えにくい感じは拭えない。そもそもポイントがズレた論文が多いのも困ったものだ。問題の原因や背景の分析が話題の中心になるはずだが、私がこの問題を素人向けにきちんと説明するのは大変なので、ここではある程度の整理ぐらいはしようと思います。
何が問題ではないのか？
整理に入る前にまず、この問題が何でないのかを確認しておきます。まずこれはデータ捏造のような研究不正の問題ではないということです。これは巻頭言で言及されている上にこのような記事(「心理学の研究不正に向き合う 京都大学教授らが雑誌特集号出版 | 大学ジャーナルオンライン」)があるせいで勘違いしやすいですが、一部の悪い研究者が不正なことをしました的な話ではないです。これは心理学全体に関わる制度的な問題と係る問題であるということです。第二に誤解しがちなのが、この問題が起こるきっけかの一つであるBemの「超能力」論文の出版をとりあげて、そんな怪しいテーマを有名な学術誌が取り上げたのがけしからんという点は重要ではないことだ*1。たしかにBemの論文の内容を知ってみると、そんなの有意差でるわけないじゃん！とは思うのですが、たとえどんなに怪しいテーマであろうと正当な手続きに則った内容であればそれを拒否するのはただの偏見でしかないので、今回の問題とは関係がない。重要なのはBemの論文がこうした議論を引き起こそたきっかけになったことそれ自体であって、その内容が怪しいかどうかは二次的な問題だ。
お勧めの論文はコレだ！
すでに触れたようにこの特集はポイントのズレた論文も多く素直にすべてをお勧めできない*2。ポイントがズレてる訳ではないが、要するに自分も再現実験やってみました的な論文(藤島・樋口(2016))もここでは脇においておくと、やはりいちばんお勧めできるのは大久保「帰無仮説検定と再現可能性」だろう。この論文では帰無仮説検定という統計的検定の方法から問題に迫っている。そこで取り上げられている問題の一つにp値がある。p値について詳しい説明は省くが、私(心理学科出身)も大学の統計の授業で有意の基準となるp値は5%が一般的に採用されているという話を聞いた時に「一体なんの根拠があってそうなんだ？」と疑問に思ったことを思い出したが、別に大した根拠などないのだとよく分かった。私の個人的な思い出はどうでもいいとして、ともかくこの論文は（最小限の知識は必要とはいえ）特集への問題意識・専門性・全体的な分かりやすさの点でとてもすぐれた出来になっている。
次にお勧めできる論文は池田・平石「心理学における再現可能性危機：問題の構造、現状と解決策」だ。本来なら概観的な論文として書かれたこの論文を最初にお勧めすべきだったのだろうけど、内容に微妙に癖(またはオリジナリティ)があるのでそこに注意する必要がある。例えば、今回の問題を起こす原因の一つに心理学理論の弱さを挙げているが、その指摘自体は興味深いのだが一般的にはあまり議論されている論点ではない。また、事前登録制度についてもその目的は、統計的検定によって有意差が出た結果をまるで最初からそのことを調べるのが目的だったかのように後出しジャンケン的に仮説を変更してしまう事態を防ぐことが目的なのだが、その辺りがこの論文の記述では分かりにくい。他にも「大規模な追試プロジェクトの結果，社会心理で25%，認知心理で50% ほどしか結果の再現ができないことが報告された」における「しか」の使い方(逆に言えば50%は再現できた)とか、論文全体の内容は悪くないのだが、細かいところに引っかかりやすい感じがした。逆に言えば注意して読みさえすれば、問題の全体を概観した唯一の論文としてとても有益なものになっています*3。
もうひとつお勧めできるのは、これはコメント論文になるが、三中「統計学の現場は一枚岩ではない」が生態学の研究の側から問題に迫っていて、とても参考になる。
根本原因を整理する
この話題（心理学研究の再現性）には大きく２つの問題が関わっている。それは(統計の使い方を含む)研究手法の問題と(出版に代表される)制度的な問題だ。まず研究手法の問題は、「問題のある研究実践（Questionable Research Practices、略してQRPs）」と名付けられているように大きな問題となっている。ともかくどうにかしてデータから有意差を引き出して価値のある論文だと思わせたが勝ちの戦法だ。この問題の厄介なところはそうした実践をする研究者が、(別にデータを偽造したわけでもないのだからと)何の悪意もなく当たり前のようにそうした行為に至ることである。統計的検定は仮説を検証するための手段でしかないのに、いつの間にか有意差を出すための統計的検定が目的を化してしまったのだ。
もうひとつの問題は心理学の学問としての制度的な問題がある。例えば過去の実験を純粋に再現した追試論文が学術誌で採用されにくいのがその代表だ。そういえば、（特に社会心理学でよく見られる）超能力研究も真っ青な奇妙な研究テーマが取り上げられて無理やり有意な結果にされてしまうようなことにもなりがちだが、これも学術誌の側が研究テーマの新奇さに惹かれてその科学研究としての厳密さを見逃していることが原因だと言える。そして、結果として制度的な問題が研究手法の問題を促進している側面があり、単に個人の努力だけで何とかなる問題とはもはや言えない。
こうした問題はもちろん解消されてほしいのだが、私が本当に懸念しているのは、こうした問題が解消されて心理学研究に科学的厳密さが身についた時に、心理学研究はどんな状況になっているのだろうということだ。正直、私自身は（特に社会）心理学によく見られた奇妙な研究テーマは面白がるよりもむしろ軽く馬鹿にしてたところがあるので、くだらない研究が一掃されてくれるならそれはそれで結構だとは思う。だが、そうすると科学的厳密さを取り戻した心理学研究には一体どんなテーマが残るのかと思うと陰鬱な気持ちにならなくもない。まぁ、そもそも心理学研究にそこまでの科学的厳密さなど身につきっこないのかもしれない(科学的厳密さがない心理学領域ほどこんな問題さえ起こらない)*4のだからただの杞憂なのだが。
*1:例えば「人間に未来予知が可能であるというこの論文の結論は、無論現代科学の視点からはありえない内容です。その掲載をJPSPが認めたということは、いわば心理学が自然科学全体を否定したという意味にもとれました。」<心理学研究は信頼できるか？――再現可能性をめぐって（1）より>の記述は著者の意図に関わらずそう誤解を与えやい
*2:ただしポイントがズレた論文が多いことは特集の編集意図からは必ずしも欠点ではない
*3:この記事を一通り書き終わったあとでこの論文の中にあったアドレスから注記論文(「https://www.researchgate.net/publication/302880267_chitianpingshi_2016_xinlixueniokeruzaixiankenengxingweijiwentinogouzaotojiejueceniguansuruzhuijiadenoto」)を手に入れて読んだら、その素晴らしさに感激。絶対にセットで読むべきです
*4:今回、問題になっているのは心理学の中ではまだ科学的厳密さが求められるだけマシであり、他にその点ではもっと手の付けられない程の心理学研究はいくらでもある。例えば、特集論文でも挙げられている心理尺度を参照
