주요 메시지
• 동료 평가 교육은 동료 평가의 품질에 거의 또는 전혀 영향을 미치지 않을 수 있다.
• 효과에 대한 더 나은 추정치를 제공하려면 대규모의 잘 설계된 연구가 필요하다.
동료 평가란 무엇인가?
동료 평가는 다른 사람이 수행한 연구를 평가하는 사람이다. 동료 평가는 일반적으로 자신이 평가하는 연구를 수행하는 데 필요한 기술과 유사한 기술을 갖춘 연구원이다.
동료 평가는 무엇을 위해 사용되는가?
연구 프로젝트나 보고서의 품질이 좋은지 자금 제공자와 연구 출판사 모두 불확실할 수 있다. 많은 사람들이 프로젝트나 보고서의 품질을 평가하기 위해 동료 평가자를 사용한다.
리뷰어 교육을 통해 동료 평가 품질을 어떻게 향상시킬 수 있는가?
동료 평가자를 교육하면 그들이 평가하는 연구의 강점과 약점을 더 잘 식별할 수 있다.
무엇을 확인하고 싶었는가?
동료 평가를 교육하면 작업 품질이 향상되는지 알아보고 싶었다.
무엇을 했는가?
동료 평가를 위한 교육을 교육이 없는 경우, 다양한 유형의 교육, 표준 저널 또는 자금 제공자 관행과 비교한 연구를 검색했다. 정보를 추출하고 모든 관련 연구의 결과를 요약했다. 연구 방법 및 규모와 같은 요소를 기반으로 근거에 대한 신뢰도를 평가했다.
무엇을 찾았는가?
총 1,213개의 분석 단위(722명의 검토자 및 491개의 원고)를 포함하는 10개의 연구를 발견했다. 8개 연구에는 저널 동료 평가만 포함되었다. 나머지 두 연구에는 자금 동료 평가자가 포함되었다.
주요 결과
동료 평가에게 보고 체크리스트 항목을 확인하도록 상기시키는 이메일은 표준 저널 관행과 비교할 때 아마도 보고의 완전성에 거의 또는 전혀 영향을 미치지 않을 것이다(421개의 원고가 포함된 2개 연구의 근거).
표준 저널 관행과 비교하여 리뷰어 교육은 동료 리뷰어의 오류 감지 능력을 약간 향상시킬 수 있다(418명의 리뷰어가 참여한 1개 연구의 근거). 교육을 받은 리뷰어는 평균 9개 중 3.25개의 오류를 식별한 반면, 교육을 받지 않은 리뷰어는 평균 9개 중 2.7개의 오류를 식별했다.
표준 저널 관행에 비해 리뷰어 교육은 이해관계자의 리뷰 품질 평가에 거의 또는 전혀 영향을 미치지 않을 수 있다(616명의 리뷰어와 60개의 원고가 포함된 6개 연구의 근거).
비디오 과정이 없는 경우와 비교하여 비디오 과정이 검토자 간의 합의에 미치는 영향에 대해 확신할 수 없다(75명의 검토자가 참여한 1건의 연구에서 얻은 근거).
채점에 대한 구조화된 개별 피드백은 채점에 대한 일반적인 정보와 비교하여 검토자 간의 합의 변화에 거의 또는 전혀 영향을 미치지 않을 수 있다(41명의 검토자가 참여한 1개 연구의 근거).
근거의 한계는 무엇인가?
대부분의 연구에는 중요한 정보가 부족하고 검토자가 너무 적기 때문에 대부분의 근거에 대한 확신이 거의 없다. 또한, 해당 연구가 타당하고 신뢰할 수 있는 방식으로 동료 평가 품질을 측정했는지 여부가 불분명하다.
이 근거는 얼마나 최신인가?
근거는 2022년 4월까지 검색했다.
10개 RCT의 근거에 따르면 동료 평가를 교육하면 동료 평가 품질이 거의 또는 전혀 개선되지 않을 수 있다. 더 많은 참가자와 더 광범위하고 타당하고 신뢰할 수 있는 결과 측정을 대상으로 한 연구가 필요하다. 동료 평가의 품질에 대한 이해관계자의 평가를 평가하는 연구는 이러한 도구가 충분한 수준의 타당성과 신뢰성을 갖도록 보장해야 한다.
자금 제공자와 과학 저널은 동료 평가를 통해 자금을 지원할 프로젝트나 출판할 기사를 결정한다. 리뷰어 교육은 동료 평가의 질을 향상시키기 위한 중재다. 그러나 그러한 훈련의 효과에 대한 연구는 일관되지 않은 결과를 낳고 있으며, 이 문제를 다루는 최신 체계적 검토는 없다.
동료 평가 교육이 자금 및 저널 동료 평가의 품질에 미치는 영향을 평가한다.
표준적이고 광범위한 코크란 검색 방법을 사용했다. 가장 최근 검색 날짜는 2022년 4월 27일이었다.
동료 평가의 품질을 향상시키기 위해 훈련 중재를 포함한 동료 평가를 일반적인 프로세스, 훈련 중재 없음 또는 기타 중재와 비교하여 평가한 무작위 대조 시험(RCT, 클러스터 RCT 포함)을 포함했다.
표준 코크란 방법을 사용했다. 주요 결과는 1. 보고의 완전성 및 2. 동료 평가 오류 감지였다. 이차결과는 1. 계량서지학적 점수, 2. 이해관계자의 동료 평가 품질 평가, 3. 리뷰어 간 합의, 4. 프로세스 중심 결과, 5. 동료 평가 만족도, 6. 자금 지원 프로젝트의 완료율 및 속도였다. 편향 위험을 평가하기 위해 Cochrane 편향 위험 도구의 첫 번째 버전을 사용했고, 근거의 확실성을 평가하기 위해 GRADE를 사용했다.
총 1213개의 분석 단위가 포함된 10개의 RCT를 포함했다. 분석단위는 7개 연구에서는 개인심사자(총 722명), 3개 연구에서는 심사원고(총 491개 원고)였다.
8개의 RCT에서 참가자는 저널 동료 평가자였다. 두 가지 연구에서 참가자는 자금 동료 평가자였다. 교육 중재는 크게 대화 기반 중재(대화형 워크숍, 대면 교육, 멘토링)과 일방적 의사소통(서면 정보, 비디오 강좌, 체크리스트, 서면 피드백)로 나눌 수 있다. 대부분의 연구는 규모가 작았다.
표준 저널 관행과 비교하여 동료 평가에게 보고 체크리스트 항목을 확인하도록 상기시키는 이메일이 적절하게 확인된 항목의 비율(0.00~1.00)로 측정된 보고(평균차(MD) 0.02, 95% 신뢰구간(CI) -0.02~0.06, 2개의 RCT, 421개의 원고)의 완전성에 거의 또는 전혀 영향을 미치지 않는다는 중간 정도의 확실성 근거를 발견했다.
표준 저널 관행과 비교하여 리뷰어 교육이 동료 평가의 오류 감지 능력을 약간 향상시킨다는 근거 확실성은 낮았다(MD 0.55, 95% CI 0.20 ~ 0.90; 1 RCT, 418 리뷰어).
표준 저널 관행에 비해 리뷰어 교육이 이해관계자의 저널 동료 평가 리뷰 품질 평가(표준화 평균 차이(SMD) 0.13 표준 편차(SD), 95% CI − 0.07~0.33, RCT 1명, 리뷰어 418명) 또는 저널 동료 평가에서 리뷰 품질에 대한 이해관계자의 평가 변화(SMD −0.15 SD, 95% CI −0.39 ~ 0.10, RCT 5개, 리뷰어 258명)에 거의 또는 전혀 영향을 미치지 않는다는 확실성이 낮은 근거를 발견했다.
비디오 과정이 없는 것에 비해 비디오 과정이 자금 동료 평가에서 검토자 간 합의에 거의 또는 전혀 영향을 미치지 않는다는 매우 낮은 확실성 근거를 발견했다(MD 0.14점, 95% CI −0.07 ~ 0.35, 1 RCT, 75명의 리뷰어 ).
점수에 대한 구조화된 개별 피드백은 점수에 대한 일반 정보와 비교하여 자금 동료 평가에서 검토자 간 합의의 변화에 거의 또는 전혀 영향을 미치지 않는다는 낮은 확실성 근거가 있었다(MD 0.18점, 95% CI −0.14 ~ 0.50; 1개의 RCT, 41명의 검토자, 낮은 확실성 근거).
위 내용은 한국코크란에서 번역하였다.