原創 Nichols等 集智俱樂部 收錄于話題#科學學16個

導語

科學的可重復性是科學區別于偽科學的一大特征，然而隨著科學研究的快速發展及不斷細化，其不可重復性的隱患不斷加劇。針對該問題，美國國家科學研究委員推出了《科學中的可再現性與可重復性》 報告，提出一系列指導建議。本文則在原指導意見的基礎上，進一步提出前瞻性研究方法，通過設計好的研究順序來積累研究證據。并提出利用信息態演化的方法，持續更新不同模型的可信度，提高研究結果與模型預測的匹配程度，從而解決可重復性問題。

James D. Nichols等 | 作者

Leo、張澳 | 譯者

劉培源 | 審校

鄧一雪 | 編輯

論文題目：

Opinion: A better approach for dealing with reproducibility and replicability in science

論文地址：

https://www.pnas.org/content/118/7/e2100769118

科學會影響我們的日常生活，也指導著國內與國際政策[1]。因此，科研成果極其重要，然而始終存在[2]。為了解決這一問題，美國國家科學研究委員會牽頭了一項共識研究Reproducibility and Replicability in Science（NASEM 2019 報告[3]），在這項研究中，對關鍵的概念進行了定義，對有關問題進行了討論，并且對問題的解決方法提供了指導建議。雖然已經有了這些經過深思熟慮的建議，但我們仍然覺得這些建議并不充分。在先前的研究中，盡管承認了分立研究的局限性以及集成研究的必要性[3]，但NASEM 2019 報告仍僅考慮了單一研究中的可重復性問題。因此，在本文中，我們提倡一種戰略性研究方法，通過設計好的研究順序來積累研究證據，并以此來試圖解決可重復性問題。隨著研究的進行，根據不同假設的預測結果會逐步積累不同的證據。

圖1. 美國 NASEM 2019 報告《科學中的可復現性與可重復性》

在許多研究領域中，我們很難憑借單一的研究就獲得大量的知識。芝加哥大學物理學教授 John Rader Platt [4]所說的那種具有明確結論的“關鍵實驗”可以被找到但是屈指可數。因此，大多數時候，單一研究的結果也只能被視為理論的基石，而理論大廈的構建需要對同一現象進行多次研究[5-7]?；谶@一主張，我們可以有計劃地制定研究順序，從而對重要假設的研究做出戰略性的規劃。

我們主張在研究結果與模型預測之間做比較，這樣比在不同研究結果之間做比較，對科學更有益處。后者是比較兩個研究的結果是否相似，而前者是在不斷評估具體假設及其預測的可信度。當存在眾多假設時[8]，我們要做的工作就是隨著研究結果的積累，對這些假設的相對可信度進行跟蹤調查。為了積累研究證據，我們提出了逐步檢測模型預測結果的調查流程。

1. 新方法：信息態演變

我們可以通過戰略性的規劃來促進研究證據的積累，從而解決科學研究可重復性的問題。在這里我們使用了一種被稱為“信息態演變”（evolving information state EIS[9]）的方法，它基于多個假設及其各自的模型。

具體而言，在任意時間 t ，每一個模型都有與之對應的權重，以此來表示該模型的相對可信度。信息態則被定義為各模型權重所組成的向量，說明了至今為止各模型所積累的可信度。利用貝葉斯定理結合 t 時刻前累計的權重以及各模型對于新數據的預測程度（如[9]，[10]），即可對權重（也就是相對可信度）進行更新。而且，調查程序中每個研究的最優設計也取決于其模型當前權重。如果模型中包含有效的假設，那么隨著證據的累計，該模型的權重就應該接近1，而其余模型的權重則應接近于0。

圖2. 信息態演變示意圖，每一個時刻的餅圖都代表信息狀態的改變，面積的大小變化則對應著權重的變化。從圖中我們能夠明顯地看到，隨著研究的進展，藍色所代表的假設1的權重在逐漸增強。

一個和信息態演變方法相關的實例就是由美國魚類及野生動物管理局（USFWS [9]，[11]）牽頭的北美中部地區綠頭鴨25年管理計劃。該管理計劃旨在為捕獵管制政策的制定提供信息，并對各生物競爭模型進行比較，從而了解不同管制政策對種群動態的影響。

在該計劃實施的每一年中，基于當年（t年）繁殖種群規模的估計（基于大規模的監測計劃）以及當年秋冬捕獵季所選擇實施的管制政策，四種競爭模型都會給出下一年（t+1年）春天繁殖種群規模的預測。在下一個繁殖季（t+1年），將各模型基于上一年所預測的結果與種群規模的最新預估進行對比，再基于各模型的預測能力，利用貝葉斯定理更新先前各模型的權重。圖3展示了各年種群規模的預估及基于模型的預測，以及信息態的演化。

圖3. 該圖展現了美國中部地區綠頭鴨的觀測數值與預測數值的逐年比較，以及相應的權重演化。圖2上半部分表示的是種群預估與各模型預測結果逐年變化的圖示。圖中豎線是預估值95%置信區間的誤差條，箭頭表示所有模型預測的加權結果。圖2下半部分則表示的是各模型權重的演化（信息態）；研究中各模型在1995年初始權重相同。

在該計劃開始的時候，USFWS 為四個模型都賦予了相同的權重。到最后，有兩個模型的權重已經接近 0。而剩下兩個模型，其中一個的權重已經是另一個的兩倍以上。我們注意到，這個例子中所涉及的權重變化是發正在一個多模型管理計劃中的。該計劃的目的是制定狩獵管理政策，而不是為了去學習預測模型[9]、[10]。如果要將該方法應用于學習預測模型，則需要基于積累證據以區分不同模型的目標，對系統操作流程、待評估目標參數、協變量做出周期性的調整。

2. 可再現性與可重復性

在 NASEM 2019 報告 中將可再現性（Reproducibility）定義為“計算可再現，即使用相同的數據、計算步驟、方法、代碼與分析條件應當獲得一樣的結果”[3]。這份指導建議包含了對數據訪問方法和計算步驟的詳細表述，但較少涉及模型的規范與選擇等重要的變異來源。

由此，我們發現可再現性的定義是對單項研究而言的，若我們以多種研究來積累證據，至少也需要檢查某些組分研究結果的樣本是否一致。這件事是可行的，并且樣本間的差異很可能也會被發現。然而，如何利用這些信息為未來的研究提供信息或積累證據，我們尚不清楚。

我們認為可再現性的缺失是影響可重復性的多個變異來源之一，而可重復性是證據積累的內涵所在。若希望減少可重復性方面的問題，其它原因至少應該受到同等重視，這些原因包括對重點模型或假設的具體說明，對預測結果適當的推導等。積累證據的方法應該對變異的不同原因有適應性，即使在這些原因存在時，也能做出有用的推斷。

NASEM 2019 報告將可重復性（Replicability）定義為“在所有旨在回答相同科學問題的、且擁有自己數據的的研究中，取得一致的結果”。該定義還討論了結果間的比較和“兩結果間可重復性的評估”。在科學中，我們認為“結果”應該是指模型的預測及其相關假設與收集到的數據相一致的程度，其一致程度被用于評估模型的合理性，或是區分兩個及以上相互競爭的模型。

一項研究的重復提供了支持或反對假設預測能力的額外證據。在考慮兩個相似研究的結果時，我們認為重點不應該放在比較上，而應該放在它們各自基于假設的預測的一致性上，并結合一致性的評估以獲得證據的全貌。事實上，假設與預測間可重復的一致性（或不一致性）提供了可重復性的最終證據。

研究的預注冊（preregistration）被認為是提高可重復性的一種方法[3]。通過預注冊，在研究開始前就已確定先驗假設及其評估方法，從而說明結果是基于“探索性”分析還是“驗證性”分析。我們建議采取未雨綢繆的策略，從單打獨斗的研究上升為程序型的研究，研究人員通過一系列的實驗來反復驗證假設，這一系列的實驗專為累計證據所用，且是逐步發展的。

NASEM 2019 報告中處理研究集成（research synthesis）的部門即證明了其對于多案例證據的關注?！爱斍?，研究集成是對各類證據進行的系統綜述及元分析（meta-analyses）[3]，并且描述了研究活動的集合，包括識別、檢索、評價、整合、解釋及基于語境理解證據，這些證據是從某一特定主題的研究所得”。這種對于多案例證據的重視是有用的。

然而，基于現有研究的回顧性方法是有局限的。研究綜合的回顧性方法主要基于現有的出版物，必須處理出版物偏倚等問題，這些問題使得發表的研究結果不一定能代表所有針對指定假設的研究。檢測和處理發表偏倚的常用方法存在缺點。而前瞻性的方法則消除了許多回顧性方法的問題，在前瞻性方法中研究人員在某主題下設計并實施一系列用于積累證據的研究[9]。

NASEM 2019 報告報告包含一些聲明，承認從多項研究中積累證據的重要性，例如，

“有些人會認為，將專注于單一研究的可重復性作為提高科學效率的一種方式是不恰當的。然而，以對于某一主題累積證據的綜述來衡量整體效果及其一般性，可能更有用”[3]。

對地球科學和氣象預測的認知是基于概率預測和證據積累形成的[3]。因此，盡管關于科學發現如何開展的觀點遍布整個報告，但它們并不占主導地位，也不提供報告建議的基礎或關于實施收集證據的項目的細節。

集中于證據積累的方法對于解決與可重復性相關的許多問題是有用的。不可重復性的一個來源是“科學假設的先驗概率（實驗前似然性）”[3]。信息態演化方法將這一概念形式化，并明確地使用它來更新模型權重和積累證據。可信度是基于模型的預測能力，而不是依賴“實驗前”的認知。與研究結果不確定性相關的報告經常被強調[3]，但我們應該詳細說明如何利用這種報告。用于更新模型權重的貝葉斯定理明確地包含了預測結果的不確定性，以及用于評估數據和預測結果之間對應程度的建模過程的不確定性。更大的不確定性可能會減緩學習的速度，但不會改變證據的積累。

我們建議采取額外的前瞻性措施，超越個體研究，進入流程化調查，研究人員在專門為積累證據而設計的研究序列中反復測試特定的假設。

建議預先注冊擬進行的調查，以澄清研究結果[3]。信息態演化是一種前瞻性的研究方法，通過一系列擬定的研究，使得加速證據積累的設計考慮成為可能。當考慮兩個以上的模型時，信息狀態是最優設計[9]的重要決定因素，對“實驗前似然性”[3]在研究實施中的使用進行了形式化。

信息態演化方法和積累證據的有關方法主要處理可再現性和可重復性的問題。在信息態更新過程中，會降低可再現性的重要不確定性來源（例如模型選擇、合并的隨機性）被直接處理。證據的積累將焦點從結果在其它研究中的再現轉移到假設對于多個研究的數據得出一致預測的能力。研究降低可重復性的系統特征，如復雜性、噪聲和不穩定性[3]，并不妨礙證據的積累，而僅減慢了其積累的過程?？杀苊獾姆侵貜托詠碓碵3]要么變得無關（例如發表偏倚），要么只是減慢了證據積累的速度（例如，糟糕的設計，錯誤）。

3. 進展

除了已提出的關于提高可再現性和可重復性的指導外[3]，我們建議研究人員不再強調孤立研究，而是致力于積累證據的連續研究項目。我們理解這一建議說起來容易做起來難，但我們相信，現有的長期研究和監測項目已經預先適應了這種調整，正如前文的綠頭鴨案例。研究人員可以組成學會，關注具體問題。未被納入這類學會的孤立研究人員可以通過設計自己的研究來參與，以促進模型間的區分度[12,13]。只要各研究走在區分某類模型的這條線路上，不同研究者研究計劃上的差異就不會構成概念性的問題。

指導中強調學術機構和國家實驗室對于培訓的提供[3]。此外，我們相信，如果科研機構的管理部門將其獎勵制度的重點從獨立研究轉向旨在積累知識的項目，這將非常有用。報告還對美國國家科學基金會（National Science Foundation，NSF）和其他研究資助者提出了要求，希望他們更重視所資助研究對于方法與數據的詳細描述，并盡量資助探索計算可再現、發展標準計算工具以及對已發表工作可再現性與可重復性進行評估回顧等類型的研究。[3]

美國國家科學基金會和其他資助者也確實可以發揮重要作用，將科研文化從單一研究，轉向精心設計的研究序列。這樣的轉變將為研究人員提供動力，使他們能融入旨在積累證據的大型項目中。這種自上而下強調積累證據的做法可能非常有效，并將自然地解決許多再現性和可重復性的問題。

2019年NASEM會議的最終建議向政策制定者和公眾呼吁：“任何基于科學證據做出個人或政策決定的人都應該謹慎，不要根據單一研究的結果做出嚴肅決定，不管這一結果多么有前景。“然而，對決策者而言，并不能簡單地保持警惕或等待不確定性被解決（在許多情況下不太可能），而是要使用專門為處理不確定性而開發的決策算法和方法[12-14]。有些方法可以產生好的決策，同時減少不確定性，信息期望值（expected value of information）這一的概念的提出也明確了學習的價值[10, 15]。

近年來，人們越來越認識到，科學研究的進步正在受科學行為問題的拖累，例如經常無法再現或重復已發表的研究結果。正因為孤立研究的目的并不是為整體科研工作提供證據，所以造成可再現、可重復性問題也在所難免。我們建議通過進行有計劃的研究序列來積累證據的正式方法。這一整體建議引出了針對個別研究人員、相關機構、資助機構和政策制定者的具體建議。我們認為，從一種孤立的研究文化向一種更綜合的科學方法的轉變，可以加速認知的形成。此外，這一政策也將改善并在很大程度上解決可再現性和可重復性的問題。

參考文獻

[1] B. Ramalingam et al., Adaptive Leadership in the Coronavirus Response: Bridging Science, Policy, and Practice (ODI Coronavirus Briefing Note, London, 2020).

[2] M. Baker, 1,500 scientists lift the lid on reproducibility. Nature 533, 452–454 (2016).

[3]National Academies of Sciences, Engineering, and Medicine, Reproducibility and Replicability in Science (The National Academies Press, Washington, DC, 2019). doi:10.17226/25303.

[4]J. R. Platt, Strong inference: Certain systematic methods of scientific thinking may produce much more rapid progress than others. Science 146, 347–353 (1964).

[5]H. Poincare, Science and Hypothesis (The Science Press, New York, 1905).

[6] B. K. Forscher, Chaos in the brickyard. Science 142, 339 (1963).

[7]J. A. Nelder, Statistics, science and technology. J. Roy. Stat. Soc. A 149, 109–121 (1986).

[8]T. C. Chamberlin, The method of multiple working hypotheses. J. Geol. 5, 837–848 (1897).

[9]J. D. Nichols, W. L. Kendall, G. S. Boomer, Accumulating evidence in ecology: Once is not enough. Ecol. Evol. 9, 13991–14004 (2019).

[10]R. Hilborn, C. J. Walters, Quantitative Fisheries Stock Assessment: Choice, Dynamics, and Uncertainty (Chapman and Hall, New York, 1992).

[11]U.S. Fish and Wildlife Service, Adaptive Harvest Management: 2021 Hunting Season (U.S. Department of the Interior, Washington, D.C., 2020).

[12]P. Fackler, K. Pacifici, Addressing structural and observational uncertainty in resource management. J. Environ. Manage. 133, 27–36 (2014).

[13]B. K. Williams, Integrating external and internal learning in resource management. J. Wildl. Manage. 79, 148–155 (2015).

[14]J. D. Nichols, Confronting uncertainty: Contributions of the wildlife profession to the broader scientific community. J. Wildl. Manage. 83, 519–533 (2019).

[15]B. K. Williams, F. A. Johnson, Value of information in natural resource management: technical developments and application to pink-footed geese. Ecol. Evol. 5, 466–474 (2015).

(參考文獻可上下滑動查看)

網絡科學新課推薦：網絡動力學

集智學園特邀陳關榮、項林英、樊瑛、宣琦、李翔、史定華、李聰、榮智海、周進、王琳等網絡科學專家作為導師，依托汪小帆、李翔、陳關榮的經典教材《網絡科學導論》，自2月27日起開展系列上線課程，以網絡動力學為主線構建網絡科學知識體系。歡迎希望進入網絡科學領域、提高網絡分析能力、與一線專家探討問題的朋友報名參加！

點擊查看課程詳情：

原標題：《復現是科學的唯一標準嗎？論文可重復危機的一種解決方案》

閱讀原文