掀起“重復實驗”的蓋頭來

1500位科學家聚焦研究可復制性危機

超過70%的研究人員曾試圖復制另一個科學家的實驗并以失敗告終，而超過一半的研究人員竟無法重復自己的實驗。

為此，《自然》雜志在線調查了1576名研究人員，結果發現研究可重復性現狀令人擔憂。

調查結果顯示，人們對待可重復性的態度經常是互相矛盾的。雖然有52%的被調查者認為，實驗可重復性目前是一個大問題，但只有不到31%的人認為，無法重復出那些已發表論文的結果就意味著該結果極有可能是錯誤的，大部分被調查者都表示，他們愿意相信論文的真實性。

                           


有多少科學文獻的結果是可重復的并沒有太多數據，即便有，也并不樂觀。

這方面最著名的相關分析是針對心理學和腫瘤生物學文獻的，結果發現這兩個領域的可重復性分別只有40%和10%。

不過，被訪者都比較樂觀，有73%的人認為，在他們各自的研究領域，至少超過一半的論文是可以被信任的，其中物理學家和化學家的信心是最高的。

可重復性的范圍

不過，要想從錯誤實驗中找出真正的發現并不容易。雖然在參與網絡調查的科研人員中，絕大部分人都有過沒能重復出別人實驗結果的失敗經歷，但只有不到20%的被調查者表示，曾有無法重復出他們實驗的人與其聯系過。

這一結果與之前美國細胞生物學會開展的類似網絡調查結果一致，后者共有約900人參與了調查。原因可能是開展這種對話比較困難。因為如果向原作者尋求幫助，則有可能被人嘲笑能力不夠或受到責難，也有可能透露自己的研究計劃。

另外，也有少部分被訪者表示，曾經想要發表重復研究的結果。但當實驗沒能重復出來時，科研人員通常認為是有合理原因的。此外，發表陽性復制結論的獎勵很少，而且雜志社也不太愿意發表陰性的重復結果。

實際上，有多名曾經發表過重復實驗失敗工作的被訪者都表示，雜志編輯和審稿人都要求他們淡化與原始研究的對比。

不過，還是有24%的被訪者表示，他們發表過成功復制別人研究的結果，13%的人也發表過沒能復制的結果。

但總體而言，投稿被接受的機會比拒稿大一些，只有12%的被訪者表示沒能發表成功復制的研究結果，10%的被訪者表示沒能發表無法成功復制的研究結果。

得克薩斯理工大學健康科學中心的Abraham Al-Ahmad提到，他曾經投過一篇稿子，試圖解釋為什么干細胞技術在他們實驗室不起作用。他原本以為會收到“冷冰冰的拒稿信”，可沒想到稿件被接受了。

Al-Ahmad認為成功的原因可能是，編輯認為這篇論文提供了變通方案。

還有人認為，要成功發表一篇類似研究離不開以下幾點：運氣、堅持和編輯的喜好。

醫藥開發顧問Michael Adams介紹，他們有一篇文章證明了一個糖尿病動物模型存在嚴重缺陷，但被拒6次，部分原因是沒有發現新的藥物作用靶點。但另外一個證明某種藥物治療美洲錐蟲病效果不佳的研究很快就被接受了。

解決辦法

1/3的被訪者表示，近5年來，他們實驗室都有具體操作規程以提高結果的可重復性。

但這個比例變動范圍很大，最高的醫學類達到了41%，而物理和工程學類是最低的，只有24%。

全文檢索由文本反響表明，自己重復試驗或者讓實驗室里的其他人重復是最常用的確保手段。其他常用手段還包括加強實驗記錄以及對實驗步驟進行標準化管理等。

但這些手段都不是根本性的保證方法。

一個最廣泛宣傳用來提高研究可重復性的方法就是預注冊方法，即科研人員在試驗開始之前就向第三方說明他們的假設以及數據分析計劃等，以防日后出現有選擇性的統計學結果。但目前只有不到12個人提到了這種方案。

我們能做什么

這次網絡調查也詢問了為什么科研試驗無法重復。超過60%的被調查者都提到了以下兩點原因，即論文發表壓力和選擇性報道。

超過一半的人指出，他們沒有開展足夠的重復試驗，此外，還存在監管不嚴、統計效力不夠等問題。還有一些人提到了試劑不穩定性和高難度的試驗技術等因素。

不過威斯康星大學麥迪遜分校發育生物學家Judith Kimble認為，這都不是最根本的原因，對基金和職位的激烈競爭才是根源，同時，越來越多的行政事務也擠占了科研人員大量的時間。

Kimble評價道：“如果研究生所在的實驗室里高年資的人沒時間培訓低年資的人，那么那些低年資的學生就只能自己干了，這樣下去就會越來越糟。”

本次被調查者被要求對11種不同的提高科研成果可重復性的方案進行排序。

超過90%的參與者都認為，更好的試驗設計、更科學的統計分析以及更好的監管和指導是最重要的，遠遠超過其他因素，比如基金或教學補助等刺激計劃等。不過即便被選擇率最低的雜志審核也獲得了69%的支持。

斯坦福大學科研可靠性問題專家John Ioannidis認為，這次調查表明，雜志社、科研項目資助者、科研機構應該攜起手來，共同解決這個問題。約有80%的被訪者認為，雜志社和資助者應該擔負起更多的責任。

Munafo認為，大家都意識到了這個問題，并且能夠積極地想辦法解決，這樣很好。“我們也已經在包括主流媒體在內的各個渠道廣泛討論過這個問題，所以趕緊行動起來才是關鍵。

如果我們現在不做，機會稍縱即逝，錯過了這個好機會，大家就不會再有興趣解決這個問題了。