同儕審查員培訓的益處有哪些?

重點

• 同儕審查員的培訓可能對同儕審查的品質影響極小,或甚至微乎其微。
• 仍然需要更多設計完善的研究,以便更好地評估同儕審查的影響。

何謂同儕審查員?

同儕審查員負責評估他人所做的研究工作,通常是由研究人員擔任,並且專業領域與審核對象相似。

為什麼需要同儕審查?

不論是研究資助者或出版商,都可能無法確定研究計畫或報告品質是否良好。因此,許多人使用同儕審查員來評估專案或報告品質。

如何透過培訓來提升同儕審查品質?

透過培訓,同儕審查員可能更容易分析、評估研究的優缺點。

我們想要了解什麼?

了解同儕審查員培訓是否能提升審查品質。

我們做了什麼?

透過回顧不同研究,比較並了解同儕審查員培訓與未培訓、不同種類培訓、標準期刊,或資助者間的關聯與差異,整理後並總結所有相關研究結果。我們也根據研究方法和規模等因素,加以評估證據可信度。

我們發現了什麼?

本次納入 10 項研究結果,包含 722 名審查者和 491 份手稿,共 1,213 個研究單位。其中 8 項研究僅就期刊同儕審查員進行了解,其餘 2 項包含同儕審查員資助相關研究。

結果

與標準期刊實務相比,透過電子郵件提醒同儕審查員來檢查報告清單,對報告完整度影響極小,或沒有影響(出自 2 項研究,共含 421 篇手稿)。

並且,審查員培訓可能會略微提高同儕審查員發現異常的能力(出自 1 項研究,共含 418 位審查員)。在 9 個錯誤當中,接受過培訓的審稿員平均能夠發現 3.25 個錯誤,而未經培訓的審稿員平均只能發現 2.7 個錯誤。

與標準期刊實務相比,審查員培訓可能對利害關係人之於審查品質評估的影響很小或沒有影響(出自 6 項研究,共含 616 位審查員及 60 篇稿件)。

與無視訊課程的組別相比,我們無法確定視訊課程是否會影響審查員間的一致性(出自 1 項研究,共 75 名審查員)。

相較於普通評分資訊,結構化的個人評分回饋可能對評審間的一致性變化影響不大(出自 1 項研究,共 41 位審查員)。

研究證據有哪些限制?

我們對大多數證據缺乏信心,因為缺乏重要訊息,且審查員數量不足。此外,究竟這些研究是否以有效、可靠的方式評估同儕審查品質,依然不得而知。

證據的最後更新日期為何?

文獻檢索至 2022 年 4 月。

翻譯紀錄: 

翻譯者:魏薇玲(自由譯者,輔大翻譯所。聯繫方式:weiivy22@gmail.com)【本翻譯計畫由臺北醫學大學考科藍臺灣研究中心(Cochrane Taiwan)、東亞考科藍聯盟 (EACA) 統籌執行。聯絡E-mail:cochranetaiwan@tmu.edu.tw】

Tools
Information