Registered Reports (RRs)是近幾年來興起的一種新的研究文章發表的形式，在研究的準備階段研究者把背景、文獻、預期和方法等章節交給期刊審定，完成來回的修訂以後才進行研究，等到數據收集完成以後不論結果是否支持原始的預期或是否有顯著的差異，期刊都照常刊出研究報告。
這是一種與常規peer-reviewed的研究文章發表很不同的方式，在常規(conventional)的期刊規定下，研究者必須等到數據收集完成以後把研究結果整理成完整的敘事(narratives)，再把研究文章投稿到期刊和接受同儕審查。
然而此時已經無法對研究的方法做任何修改，也無法避開可能的方法上的問題或改善回答研究問題的方式，更嚴重的影響是不顯著的實驗結果常常因為無法形成有效的敘事或其他原因無法被發表，導致世界上有很多研究人員一直在重複做不顯著的實驗，因為沒人知道這些不顯著的實驗已經被做過了。
RRs便是在上述這些常規研究報告限制下所產生的新方式。
這篇文章指出幾個很有趣的趨勢：
1. 再驗(replication)的RR報告裡面有高達2/3的結果不支持由過去研究產生的假設，創新(novel)研究裡面有55%的數據結果不支持原始預測。在常規期刊上，這些不顯著結果的比例只有20%。
2. 協助第一階段審查的reviewer指出RR最有價值的一點在於有機會在還能改變研究方法或推論邏輯的時候就提出澄清和改善，有機會可以避免潛在的嚴重疏漏(flaw)，可能是加入重要的控制組，或確保樣本大小和統計方法可以適當地回答研究問題。
3. 承上點，這樣的機制無法避免研究人員發現自己的研究點子被reviewer改到跟自己想像的很不一樣，而且必須在這種情況下讓研究繼續進行，某種程度上似乎是失去了一些彈性，但作者認為這其實是好事，因為已經先把在文章審查階段會被挑出來的問題在研究準備階段通通提出來，更貼切的解釋是成功避免了相對不informative的研究被執行。
----
大家怎麼看？
----
An analysis this year suggests that RRs are more likely to report null findings than are conventional articles: 66% of RRs for replication studies did not support initial hypotheses; for RRs of novel studies, the figure was 55%. Estimates for conventional papers range from 5 to 20%.
One of the most striking characteristics of RRs is that reviewers can help authors to improve the protocol or rationale while it is still possible to make changes. I have overseen numerous cases in which reviewers have intervened to prevent a serious flaw in a study design — adding crucial controls, ensuring the sample size is sufficient or explaining why the hypotheses or planned statistical analyses cannot really answer the research question.
A related misgiving is that researchers will find themselves locked into a suboptimal protocol once experiments begin. In my experience, the opposite is more likely: reviewers can prevent researchers from running less-informative experiments. And reviewers of Stage 2 manuscripts generally understand reasonable changes. It is not flexibility that is lost, but the ability to airbrush both reasonable and questionable changes out of the picture.
----
#香港加油 #台灣撐香港
https://www.nature.com/articles/d41586-019-02674-6
這是一種與常規peer-reviewed的研究文章發表很不同的方式，在常規(conventional)的期刊規定下，研究者必須等到數據收集完成以後把研究結果整理成完整的敘事(narratives)，再把研究文章投稿到期刊和接受同儕審查。
然而此時已經無法對研究的方法做任何修改，也無法避開可能的方法上的問題或改善回答研究問題的方式，更嚴重的影響是不顯著的實驗結果常常因為無法形成有效的敘事或其他原因無法被發表，導致世界上有很多研究人員一直在重複做不顯著的實驗，因為沒人知道這些不顯著的實驗已經被做過了。
RRs便是在上述這些常規研究報告限制下所產生的新方式。
這篇文章指出幾個很有趣的趨勢：
1. 再驗(replication)的RR報告裡面有高達2/3的結果不支持由過去研究產生的假設，創新(novel)研究裡面有55%的數據結果不支持原始預測。在常規期刊上，這些不顯著結果的比例只有20%。
2. 協助第一階段審查的reviewer指出RR最有價值的一點在於有機會在還能改變研究方法或推論邏輯的時候就提出澄清和改善，有機會可以避免潛在的嚴重疏漏(flaw)，可能是加入重要的控制組，或確保樣本大小和統計方法可以適當地回答研究問題。
3. 承上點，這樣的機制無法避免研究人員發現自己的研究點子被reviewer改到跟自己想像的很不一樣，而且必須在這種情況下讓研究繼續進行，某種程度上似乎是失去了一些彈性，但作者認為這其實是好事，因為已經先把在文章審查階段會被挑出來的問題在研究準備階段通通提出來，更貼切的解釋是成功避免了相對不informative的研究被執行。
----
大家怎麼看？
----
An analysis this year suggests that RRs are more likely to report null findings than are conventional articles: 66% of RRs for replication studies did not support initial hypotheses; for RRs of novel studies, the figure was 55%. Estimates for conventional papers range from 5 to 20%.
One of the most striking characteristics of RRs is that reviewers can help authors to improve the protocol or rationale while it is still possible to make changes. I have overseen numerous cases in which reviewers have intervened to prevent a serious flaw in a study design — adding crucial controls, ensuring the sample size is sufficient or explaining why the hypotheses or planned statistical analyses cannot really answer the research question.
A related misgiving is that researchers will find themselves locked into a suboptimal protocol once experiments begin. In my experience, the opposite is more likely: reviewers can prevent researchers from running less-informative experiments. And reviewers of Stage 2 manuscripts generally understand reasonable changes. It is not flexibility that is lost, but the ability to airbrush both reasonable and questionable changes out of the picture.
----
#香港加油 #台灣撐香港
https://www.nature.com/articles/d41586-019-02674-6
Comments
Post a Comment