Mesej Utama

• Latihan kepada penilai rakan setara mungkin sedikit atau tidak memberi kesan ke atas kualiti penilaian rakan setara.
Kajian-kajian yang lebih besar dengan reka bentuk yang baik diperlukan untuk memberi anggaran yang lebih baik terhadap kesan tersebut.

Apa itu penilai rakan setara?

Penilai rakan setara adalah seseorang yang menilai kajian yang telah dijalankan oleh seseorang penyeldiik. Penilai rakan setara biasanya adalah seorang penyelidik yang mempunyai kemahiran yang sama seperti penyelidik yang menjalankan kajian yang dinilai.

Apakah tujuan penilaian rakan setara?

Kedua-dua pembiaya dan penerbit penyelidikan mungkin tidak pasti jika sesuatu projek atau laporan penyelidikan adalah berkualiti. Ramai yang menggunakan penilai rakan setara untuk menilai tahap kualiti sesuatu projek atau laporan penyelidikan.

Bagaimanakah kualiti penilaian rakan setara dapat ditingkatkan dengan latihan kepada pengulas?

Latihan terhadap penilai rakan setara mungkin akan menjadikan mereka lebih baik dalam mengenalpasti kelebihan dan kekurangan dalam penyelidikan yang dinilai.

Apakah yang kami ingin tahu?

Kami ingin tahu adakah dengan memberi latihan kepada penilai rakan setara dapat meningkatkan kualiti kerja mereka.

Apakah yang kami lakukan?

Kami telah mencari kajian yang melihat kepada latihan untuk penilai rakan setara dan dibandingkan dengan tanpa latihan, jenis latihan berbeza, atau amalan standard jurnal atau pembiaya. Kami mengekstrak maklumat dan merumuskan semua hasil kajian yang berkaitan. Kami telah menilai tahap keyakinan kami terhadap bukti berdasarkan faktor-faktor seperti kaedah dan saiz kajian.

Apakah yang kami temui?

Kami menemui 10 kajian yang melibatkan sejumlah 1213 unit analisis (722 pengulas dan 491 manuskrip). Lapan kajian menyertakan hanya penilai rakan setara jurnal. Dua kajian selebihnya menyertakan penilai rakan setara geran.

Keputusan utama

E-mel yang mengingatkan penilai rakan setara untuk menyemak item dalam senarai semak pelaporan, dibandingkan dengan amalan standard jurnal, mungkin mempunyai sedikit atau tiada kesan ke atas kesempurnaan pelaporan (bukti daripada 2 kajian dengan 421 manuskrip).

Latihan kepada pengulas, dibandingkan dengan amalan standard jurnal, mungkin akan meningkatkan sedikit keupayaan penilai rakan setara untuk mengesan kesilapan (bukti daripada 1 kajian dengan 418 pengulas). Secara purata, pengulas yang menerima latihan telah mengenal pasti 3.25 daripada 9 kesilapan, manakala pengulas yang tidak menerima latihan secara purata telah mengenal pasti 2.7 daripada 9 kesilapan.

Latihan kepada pengulas, dibandingkan dengan amalan standard jurnal, mungkin mempunyai sedikit atau tiada kesan ke atas penilaian pihak berkepentingan terhadap kualiti ulasan (bukti daripada 6 kajian dengan 616 pengulas dan 60 manuskrip).

Kami tidak pasti tentang kesan kursus video, dibandingkan tanpa kursus video, terhadap persetujuan antara pengulas (bukti daripada 1 kajian dengan 75 pengulas).

Maklum balas individu berstruktur tentang pemarkahan, dibandingkan dengan maklumat umum tentang pemarkahan, mungkin boleh mempunyai sedikit atau tiada kesan ke atas perubahan persetujuan antara pengulas (bukti daripada 1 kajian dengan 41 pengulas).

Apakah batasan bukti?

Kami kurang yakin terhadap kebanyakan bukti kerana kebanyakan kajian mempunyai kekurangan maklumat penting dan melibatkan bilangan pengulas yang terlalu sedikit. Selain itu, ianya tidak jelas sama ada kajian-kajian tersebut mengukur kualiti penilaian rakan setara dengan cara yang sah dan boleh dipercayai.

Sejauh manakah bukti ini terkini?

Bukti adalah terkini sehingga April 2022.