Mensajes clave
• La formación de los revisores podría tener poco o ningún efecto en la calidad de las revisiones.
• Se necesitan estudios más amplios y bien diseñados para obtener mejores estimaciones del efecto.
¿Qué es un revisor externo?
Una persona que participa de la revisión científica externa (o revisión por pares), evalúa el trabajo de investigación realizado por otra. Esta personas suele ser un investigador con conocimientos similares a los necesarios para llevar a cabo la investigación que evalúa.
¿Para qué sirve la revisión externa?
Tanto los patrocinadores como los editores de investigaciones pueden dudar de la calidad de un proyecto o informe de investigación. Muchos recurren a revisores para evaluar la calidad de los mismos.
¿Cómo podría mejorar la calidad de las revisiones externas mediante la formación de los revisores?
La formación podría ayudarlos a identificar mejor los puntos fuertes y débiles de la investigación que evalúan.
¿Qué se quiso averiguar?
Se quiso averiguar si esta formación aumentaba la calidad de su trabajo.
¿Qué se hizo?
Se buscaron estudios que compararan la formación de los revisores para revisión externa con ninguna formación, con diferentes tipos de formación o con la práctica habitual de las revistas o los patrocinadores. Se extrajo información y se resumieron los resultados de todos los estudios pertinentes. La confianza en la evidencia se calificó sobre la base de factores como los métodos y el tamaño de los estudios.
¿Qué se encontró?
Se encontraron 10 estudios que incluyeron un total de 1213 unidades de análisis (722 revisores y 491 manuscritos). Ocho estudios incluyeron solo revisores externos de revistas. Los dos estudios restantes incluyeron revisores externos de subvenciones.
Resultados principales
Los correos electrónicos que recuerdan a los revisores que tachen los elementos de las listas de verificación, en comparación con la práctica habitual de las revistas, probablemente tengan poco o ningún efecto sobre la completitud de los informes (evidencia de dos estudios con 421 manuscritos).
La formación de revisores, en comparación con la práctica habitual de las revistas, podría mejorar ligeramente su capacidad para detectar errores (evidencia de un estudio con 418 revisores). Los revisores que recibieron formación identificaron una media de 3,25 de cada 9 errores, mientras que los que no recibieron formación identificaron una media de 2,7 de cada 9 errores.
La formación de revisores, en comparación con la práctica habitual de las revistas, podría tener poco o ningún efecto sobre la evaluación de la calidad de las revisiones por las partes interesadas (evidencia de seis estudios con 616 revisores y 60 manuscritos).
No existe seguridad en el efecto de un curso en vídeo, en comparación con ninguno, sobre el grado de acuerdo entre revisores (evidencia de un estudio con 75 revisores).
La valoración individual estructurada sobre la puntuación, comparada con la información general sobre la puntuación, podría tener poco o ningún efecto sobre los cambios en el grado de acuerdo entre revisores (evidencia de un estudio con 41 revisores).
¿Cuáles son las limitaciones de la evidencia?
Se tiene poca confianza en la mayoría de la evidencia porque la mayor parte de los estudios careció de información importante e incluyó muy pocos revisores. Además, no está claro si los estudios midieron la calidad de las revisiones de forma válida y fiable.
¿Cuál es el grado de actualización de esta evidencia?
La evidencia está actualizada hasta abril de 2022.
La evidencia de 10 ECA sugiere que la formación de revisores podría producir poca o ninguna mejora en la calidad de la revisión por pares. Se necesitan estudios con más participantes y un espectro más amplio de medidas de desenlace válidas y fiables. Los estudios que evalúan las valoraciones de las partes interesadas acerca de la calidad de la revisión externa deben garantizar que estos instrumentos tienen niveles suficientes de validez y fiabilidad.
Los patrocinadores y las revistas científicas recurren a la revisión externa (también llamada «revisión por pares») para decidir qué proyectos financian o qué artículos publican. La formación de los revisores es una intervención para mejorar la calidad de estas revisiones. Sin embargo, los estudios sobre los efectos de dicha formación arrojan resultados inconsistentes, y no existen revisiones sistemáticas actualizadas que aborden este tema.
Evaluar el efecto de la formación de revisores especialistas sobre la calidad de las revisiones externas de revistas y subvenciones.
Se utilizaron los métodos exhaustivos estándar de búsqueda de Cochrane. La última fecha de búsqueda fue el 27 de abril de 2022.
Se incluyeron ensayos controlados aleatorizados (ECA; incluidos ECA por conglomerados) que evaluaron la revisión externa con intervenciones de formación versus procesos habituales, ninguna intervención de formación u otras intervenciones para mejorar la calidad de la revisión.
Se utilizaron los métodos estándar de Cochrane. Los desenlaces principales fueron 1. completitud de los informes y 2. detección de errores en las revisiones externas. Los desenlaces secundarios fueron 1. puntuaciones bibliométricas, 2. evaluación de la calidad de la revisión por las partes interesadas, 3. acuerdo entre revisores, 4. desenlaces centrados en el proceso, 5. satisfacción de los revisores, y 6. tasa de finalización y velocidad de los proyectos financiados. Se utilizó la primera versión de la herramienta Cochrane de riesgo de sesgo para evaluar el riesgo de sesgo, y el método GRADE para evaluar la certeza de la evidencia.
Se incluyeron 10 ECA con un total de 1213 unidades de análisis. La unidad de análisis fue el revisor individual en siete estudios (722 revisores en total), y el manuscrito revisado en tres estudios (491 manuscritos en total).
En ocho ECA, los participantes eran revisores externos para revistas. En dos estudios, los participantes eran revisores externos de subvenciones. Las intervenciones de formación pueden dividirse a grandes rasgos en intervenciones basadas en el diálogo (taller interactivo, formación presencial, tutoría) y comunicación unidireccional (información escrita, curso en vídeo, lista de verificación, comentarios escritos). La mayoría de los estudios fueron pequeños.
Se encontró evidencia de certeza moderada de que los correos electrónicos para recordar a los revisores que marquen los elementos de las listas de verificación, en comparación con la práctica habitual de las revistas, tienen poco o ningún efecto sobre la completitud de los informes, medida como la proporción de elementos (de 0,00 a 1,00) que se informaron adecuadamente (diferencia de medias [DM] 0,02; intervalo de confianza [IC] del 95%: -0,02 a 0,06; dos ECA, 421 manuscritos).
Hubo evidencia de certeza baja de que la formación de revisores, en comparación con la práctica estándar de las revistas, mejora ligeramente la capacidad de detectar errores de quienes realizan la revisión externa (DM 0,55; IC del 95%: 0,20 a 0,90; un ECA, 418 revisores).
Se encontró evidencia de certeza baja de que la formación de revisores, en comparación con la práctica estándar de las revistas, tiene poco o ningún efecto sobre la evaluación de las partes interesadas de la calidad de la revisión en la revisión científica externa de las revistas (diferencia de medias estandarizada [DME] 0,13 desviación estándar [DE]; IC del 95%: -0,07 a 0,33; un ECA, 418 revisores), o el cambio en la evaluación por las partes interesadas de la calidad de la revisión en la revisión científica externa de las revistas (DME -0,15 DE; IC del 95%: -0,39 a 0,10; cinco ECA, 258 revisores).
Se encontró evidencia de certeza muy baja de que un curso en vídeo, en comparación con ninguno, tiene poco o ningún efecto sobre el acuerdo entre revisores externos de subvenciones (DM 0,14 puntos; IC del 95%: -0,07 a 0,35; un ECA, 75 revisores).
Hubo evidencia de certeza baja de que la valoración individual estructurada sobre la puntuación, en comparación con la información general sobre la puntuación, tiene poco o ningún efecto sobre los cambios en el acuerdo entre revisores externos de subvenciones (DM 0,18 puntos; IC del 95%: -0,14 a 0,50; un ECA, 41 revisores, evidencia de certeza baja).
La traducción de las revisiones Cochrane ha sido realizada bajo la responsabilidad del Centro Cochrane Iberoamericano, gracias a la suscripción efectuada por el Ministerio de Sanidad del Gobierno de España. Si detecta algún problema con la traducción, por favor, contacte con comunica@cochrane.es.