「再現性が取れない」と言う後輩へのアドバイス

最近の話なのですが、再現性が取れないんです、と後輩と学生さんから相談されてそれぞれ違うアドバイスをしたので参考までに書いておきます。
別に9割方完成していた記事を消しちゃったからその代わりなわけじゃないです。
めちゃめちゃ筆が乗ってた時にバッテリーが切れて「あ。」とかそんなんじゃないです。


後輩くんの場合。
私の研究を引き継いでもらいました。


後輩くん「先輩の実験の再現性が取れないんです。僕の操作が悪いんでしょうか。こういう結果が出るのはなんでなんでしょう？」

「（知らんがなｗ）　うーん、とりあえず試料を取ってきた株が正しいかを確認してみるべきかな。プライマーとかあるはずだからPCRで良いと思うよ」

後輩くん「先生たちにも『とりあえず株が正しいかチェックしなさい』と言われました」

「うんうんそうだろう。君の場合、私のデータと矛盾する結果が出てるんだけど、いちおう君の実験単独では再現性が取れてるわけだから操作がまずいっていうのはないと思う。それでもなんで先生が『とりあえず株が正しいか……』って言ったか、わかるかな？」

後輩くん「それは……先輩の実験操作の方が信頼できるから、ですか……？」

「いやいや違う違う。私は実験結果を4つ出したけど、それぞれの結果は矛盾しないし私（たち）の立てた仮説とも整合性が取れる。それに過去の論文や報告とも矛盾しないんだよ。だけど、君の出した2つの結果は一部が矛盾するだけでなく、私の結果を含む過去の知見とも矛盾してしまうんだよ。だから、とりあえず『君の出したデータが間違っている可能性を排除しましょう』という意味で株をチェックしよう、という話になるんだよ」
「それでも株が正しければおそらく君の操作に問題はないだろうから、君の結果は正しいんだと思う。だから、私の実験を含めた過去の知見と整合性が取れなくても君の出した結果はおそらく事実なんだろうから、そのときはどういう仮説が成り立つか考えよう」

「あ、でもその試料の取り方が私と違うから、念のために遠心でのWashの回数を1回から3回にしてみてね」



学生さんの場合。
修論の書き方がわからないと言われました。
大丈夫か、あと1か月しかないぞ！

学生さん「先生に修論をどうまとめるか簡単に書きだしなさいって言われたんですけど、考察のところをどう書いたらいいんでしょう」

「（これはまたあっさり投げたなｗ）今までにいくつか実験してるよね。とりあえずそれぞれの結果について言えることを過去の研究や論文を引用していいから説明してみる。その後にそれぞれの個別の考察をまとめたら何が言えるかを考えてみる。だから実は緒論なんかは最後でもいい」

学生さん「そうなんですけど、どういう順番で説明したらいいか……実験した順番じゃないんですよね」

「そうだね。相手に理解してもらうのが大事だから『どの順番なら伝えやすいか』を考えてみよう。その順番が実験順だったらそれでも良いのだけど、以前に『実験順に説明しても聴いてる方はわからない』と指摘されたよね」

学生さん「そうなんです。だからどうまとめていいか」

「あなたが修論でどういう結論を述べたいか、によるかな。たとえば卒論では、in vitroにおいてXという酵素はA、B、C、Dという（共通のドメインを持つ）酵素の活性を阻害するけれど『in vivoではAという酵素の活性のみ阻害している』という結論だったよね。今あるデータで、AとCの関連性の話をしたいのか、それともXの話をしたいのかによっても並べ方は変わってくるよ」

学生さん「ええと……、XがAだけじゃなくて、in vivoでもA～Dすべての活性阻害に関わってる、と言いたい、らしいです（←先生が言ってるからまだよく理解できていない）」

「うんうんなるほど。そうしたらまずA～Dの働きや欠損株でどのような形態になるかを説明して、その後でXを欠損させたり過剰発現したときの話をする。卒論のときとどう違うのかをさらに説明する、で良いんじゃないかな」

学生さん「あと、先輩方の研究を載せてもいいというので、これとこれとこれも足したいんですけど、並べ方もわからないしO先輩のデータの再現性が取れないんです」

（データの確認）

「Oくんの結果と矛盾するけど、3種類の株で同じ結果が出てるしあなたの結果は正しいような気がする……」
「Aには厳密に言うと二つの異なる働きがあるって論文をこの前投稿したよね？Hさんのデータとあなたの仮説を合わせるとあなたの結果の方が整合性が取れる、気がする。……うん、今までの知見とも合うし、Oくんの結果はあのときはあれで正しいようにみえたけどここまでデータが出てくるとあなたの結果の方が正しいんじゃないかな。あなたの方がいろいろ試してみてるんだし」

学生さん「うー……たぶん、ちょっとわかってきたような気がします。また相談してもいいですか？」

「あ、はい。あんまり参考にはならないかもしれないけどいつでも相談してください」



ちなみに私の場合。
先輩の再現性確認実験を行って、10のうち1つが再現性が取れなくてものすっごくいろんな方法で再現性を取ろうとして結局「先輩の方が間違ってるね」で落ち着きました。

矛盾する結果を覆すためには、その結果が出た実験以外にもいろいろ試す必要があります。
同じ実験をしただけではどちらが正しいのか判断しようがありませんよね？
私の場合はとある欠損株でとある酵素の局在を調べていたのですが、
・抗体で検出して蛍光顕微鏡観察
という実験以外にも
・細胞表層と上清の酵素の存在量確認（Western）
・転写量の比較（Northern）
などを行いました。
そこまでしてようやく納得してもらえました。


すべてに共通することは、判断するのは私や彼らですが、その判断の基準は私や彼らの外側にあるということです。


たとえば後輩くんの例。
私の出した結果ですが、その判断の根拠は「私の実験操作が信頼できるから」とか「私が正しいと思うから」ではありません。判断の基準は「私」にはなくて、今までの研究や論文にあります。
基準が私にはないので私が判断してもそれが正しいかどうかを誰か（第三者）が判断することができます。
これは次の学生さんの例で確認できます。
学生さんとOくんのデータを第三者の私が確認しています。
ぶっちゃけて言うのなら私はOくんの方が優れた研究者だと思っています（ごめんなさい）。しかし学生さんの結果の方が正しいだろう、と私は判断しました。そう判断するための基準が私の中ではなくて外側にあるからです。彼らに対する私の評価とか仮説の好みとかはまったく関係ありません。おそらく学生さんがちゃんと理解してまとめて説明できればみんな学生さんの方が正しい（妥当な結果）だろうと言うと思います。



研究における科学的な手続きというのは、大雑把にいうとそんなものです。
分野によっても多少異なりますが、
１．自分の出したデータ内での整合性
２．過去の先輩のデータとの整合性
３．過去から現在まで蓄積された知見との整合性
は合わせる必要があります。
合わない場合は私が行ったように合わないことを証明する必要性が生じます。


たとえば、

「私が正しいと思うから正しいのだ」
「私がそういう結果を出した（そういう体験をした）から正しいのだ」

と言われた場合、それは確かに主観的には正しいのです。
「私」にとってはそれは「事実」なのです。
それは、科学の領域以外では十分に成り立ちます。
私もあなたも両方正しい、こういうことは十分に起こりうるのです。
ところが科学研究の場合はそれが成り立ちません。
「私」の外側にある基準に照らし合わせてみるとどうも整合性が取れない。そういう場合はどちらかが間違っています。
そしてたいていは「私」が間違っています。
だから「私」が間違っているかどうかの確認を研究者は真っ先に行います。
それをしないで「いや私は正しいんだ」という人は研究者としてどうだろう？と思うし、科学の名を汚すなと私は言います。
お前のやってることは科学じゃねーんだよ、と。


最後に今までの話を覆すようですが、特に研究が活発な分野では論文になっているからといって絶対正しいとは限らない、というのも頭の片隅に置いておくと考察の幅を狭めないかもしれません。
しかし、間違いを指摘する場合にも、その論文を間違いとする場合にはそれを上回るデータ、つまり証拠が必要である、というのは覚えておいてください。
しかも、間違いを指摘したのが間違いだった、と言う場合もなくはないので、ほとんどの場合は決定的な証拠が積み重なるまでは直接的な指摘は行われません。

だから面倒くさいのですけどね……。



あ、あと、学生さんにもっと役に立ちそうなアドバイスをすると、誰かに相談をするときは株のgenotypeや簡単なプロトコル、図や表など、とにかく資料はたくさん持っていきましょう。
二つ以上の遺伝子を潰すと、自分以外は図やgenotypeを見ないと株の素性を理解できないだろう、と考えておいてください。仮に先生や先輩や後輩が理解できていたとしても、卒論・修論発表、学会発表のときはそれをしなきゃいけないので普段からわかりやすさには留意しましょう。
また、理解している人同士でも資料があったほうが間違いや勘違いは減ります。
そのためにデータは常にまとめておきましょう。