再現性が低い理由はどこにある？(1)

前回のエントリーでは、著名な心理学研究の再現性を確かめたところ、100個のうち、61個の研究が再現されなかったという話題について触れました。

なぜ多くの研究結果が再現されなかったのでしょうか？

その要因として、実験の方法がまったく同じように再現されなかったこと、参加者が別人になってしまったことなどいくつかの要因を挙げました。

私は、実験方法（メソッド、Method）の記述に問題があるのではないかと考えています。

研究論文は、

「概要（アブストラクト）」

「導入（イントロダクション）」

「方法（メソッド）」

「結果（リザルト）」

「考察（ディスカッション）」

「まとめ（コンクルージョン）」

から構成されていることが一般的です。

研究で用いられた方法について書いてあるのが「方法（メソッド）」の項です。

この「方法」については、他の研究者がそれを読んで、論文の著者たちと同じように研究方法が再現できるよう、詳細に記述されることが求められます。

しかし、論文によっては、方法の記述が不正確だったり、説明不足だったりすることがあります。簡単にいうと、著者たちがとった研究方法をまったく同じようには再現できないように「方法」が書かれていることが思いのほか、多いのです。

たとえば、実験をおこなうにあたって、参加者に対して実験の説明をします（これを「教示（インストラクション）」と言います）が、これを研究者本人が口頭でおこなったのか、PCのモニターに説明を映しておこなったのか、プリントを手渡して読んでもらったのか、などは論文には書かれていないことが多いです。

もちろん、方法（メソッド）にそれに関する記述が無くても研究の遂行に影響を与えないという判断により、記述が省略されているわけです。しかしながら、参加者のインストラクションの理解や、課題へのパフォーマンスには影響をおよぼす可能性が残ってしまいます。

方法は、詳細に書きすぎると何をしているのか本筋が見えなくなってしまいかねませんので、ある程度簡潔性を重視して書かれるべきものだと思います。しかし、記述されなかった詳細部分が増えることで、実験方法自体の再現性に影響を与えかねないのではないか、そんなふうに危惧されるのです。