要点
・査読者の訓練は、査読の質にほとんど、あるいは全く影響を与えない可能性がある。
・訓練の効果をより適切に評価するためには、より大規模かつ適切にデザインされた研究が必要である。
査読者とは何か?
査読者とは、他の人が行った研究を評価する人のことである。査読者は通常、評価する研究を実施するために必要なスキルと同等のスキルを持った研究者が担当する。
何のために査読が行われるのか?
研究プロジェクトや報告書が良質かどうかは、研究の資金提供者や出版社にもわからない場合がある。そこで多くの場合、査読者による査読を利用して、プロジェクトや報告書の質の評価が行われる。
査読者の訓練によって、査読の質をどのように向上させることができるのか?
査読者を訓練することで、研究の長所と短所がよりよく特定できるようになる可能性がある。
何を調べようとしたのか?
査読者を訓練することで、査読の質が向上するかどうかについて評価を行った。
何を行ったのか?
査読者の訓練について、訓練を行わなかった場合、異なる種類の訓練を行った場合、および学術誌や資金提供者が行う標準的な方法と比較した研究について検索を行った。関連するすべての研究の情報を抽出し、結果を要約した。エビデンスに対する信頼性を、研究方法や研究規模などの要因に基づいて評価した。
何を見つけたのか?
合計1,213の分析単位(722人の査読者と491本の原稿)を含む10件の研究が見つかった。8件の研究には学術誌査読者のみが含まれ、残りの2件の研究には研究助成金の査読者が含まれていた。
主な結果
査読者に電子メールによって報告チェックリスト項目を確認するよう促す方法は、学術誌による標準的な方法と比較して、チェックリストにある報告の完全性にほとんど、あるいは全く影響を及ぼさない可能性がある(合計421本の原稿を対象とした2件の研究から得られたエビデンス)。
学術誌による標準的な方法と比較して、査読者の訓練は、査読者の間違いを発見する能力をわずかに向上させる可能性がある(418人の査読者を対象とした1件の研究から得られたエビデンス)。訓練を受けた査読者は、9件中平均3.25件の間違いを発見したのに対し、訓練を受けなかった査読者は、9件中平均2.7件の間違いを発見した。
学術誌による標準的な方法と比較して、査読者の訓練は、利害関係者による査読の質の評価にはほとんど、あるいは全く影響を与えない可能性がある(合計616人の査読者と60本の論文を対象とした6件の研究から得られたエビデンス)。
動画による訓練の有無が、査読者間の合意に及ぼす影響については不明である(75人の査読者を対象とした1件の研究から得られたエビデンス)。
採点に関する構造化された個別のフィードバックは、採点に関する一般的な情報と比較して、査読者間の合意にはほとんど影響しない可能性がある(41人の査読者を対象とした1件の研究から得られたエビデンス)。
エビデンスの限界は何か?
多くの研究に重要な情報の欠落がみられ、また査読者数が少なすぎたため、ほとんどのエビデンスには信頼性がなかった。さらに、これらの研究が査読の質を有効かつ確実に検証可能なものであるかどうかは不明であった。
本エビデンスはいつのものか?
2022年4月時点におけるエビデンスである。
《実施組織》小泉悠、阪野正大 翻訳[2024.07.30]《注意》この日本語訳は、臨床医、疫学研究者などによる翻訳のチェックを受けて公開していますが、訳語の間違いなどお気づきの点がございましたら、コクランジャパンまでご連絡ください。なお、2013年6月からコクラン・ライブラリーのNew review, Updated reviewとも日単位で更新されています。最新版の日本語訳を掲載するよう努めておりますが、タイム・ラグが生じている場合もあります。ご利用に際しては、最新版(英語版)の内容をご確認ください。 《MR000056.pub2》