Mensagens-chave
• O treinamento de revisores por pares pode ter pouco ou nenhum efeito na qualidade da revisão por pares.
• São necessários estudos maiores e bem delineados para fornecer melhores estimativas do efeito.
O que são revisores por pares?
Revisores por pares são pessoas que avaliam o trabalho de pesquisas realizados por outras pessoas. Revisores por pares geralmente são pesquisadores com habilidades semelhantes às necessárias para conduzir as pesquisas que avaliam.
Para que é usada a revisão por pares?
Tanto as instituições de financiamento como os editores de pesquisas podem não ter certeza se um projeto ou relato de pesquisa é de boa qualidade. Muitos usam revisores para avaliar a qualidade de um projeto ou relato.
Como a qualidade da revisão por pares poderia ser melhorada através do treinamento de revisores?
O treinamento de revisores pares pode torná-los melhores na identificação de pontos fortes e fracos na pesquisa que avaliam.
O que queríamos saber?
Queríamos saber se treinar revisores por pares melhorava a qualidade do seu trabalho.
O que nós fizemos?
Fizemos buscas por estudos que analisassem o treinamento para revisores por pares em comparação com nenhum treinamento, diferentes tipos de treinamento ou práticas padrão de periódicos ou instituições de financiamento. Extraímos informações e resumimos os resultados de todos os estudos relevantes. Classificamos nossa confiança nas evidências com base em fatores como os métodos e número de participantes nos estudos.
O que nós encontramos?
Encontramos 10 estudos que envolveram um total de 1.213 unidades de análise (722 revisores e 491 manuscritos). Oito estudos incluíram apenas revisores de periódicos. Os dois estudos restantes incluíram revisores de instituições de financiamento.
Resultados principais
E-mails lembrando os revisores por pares de verificar os itens das listas de verificação (checklists) dos relatos, em comparação com a prática padrão dos periódicos, provavelmente têm pouco ou nenhum efeito na integridade dos relatos (evidência de 2 estudos com 421 manuscritos).
O treinamento de revisores, em comparação com a prática padrão de periódicos, pode melhorar ligeiramente a capacidade dos revisores em detectar erros (evidência de 1 estudo com 418 revisores). Os revisores que receberam treinamento identificaram em média 3,25 de 9 erros, enquanto os revisores que não receberam treinamento identificaram em média 2,7 de 9 erros.
O treinamento dos revisores, em comparação com a prática padrão dos periódicos, pode ter pouco ou nenhum efeito na avaliação da qualidade da revisão pelas partes interessadas (stakeholders) (evidência de 6 estudos com 616 revisores e 60 manuscritos).
Não temos certeza sobre o efeito de um curso em vídeo, em comparação com nenhum curso em vídeo, na concordância entre revisores (evidência de 1 estudo com 75 revisores).
O feedback individual estruturado sobre a pontuação, comparado com informações gerais sobre a pontuação, pode ter pouco ou nenhum efeito na mudança da concordância entre os revisores (evidência de 1 estudo com 41 revisores).
Quais são as limitações das evidências?
Temos pouca confiança na maioria das evidências porque a maioria dos estudos carecia de informações importantes e incluía poucos revisores. Além disso, não está claro se os estudos mediram a qualidade da revisão por pares de forma válida e confiável.
Até que ponto estas evidências estão atualizadas?
As evidências estão atualizadas até abril de 2022.
Evidências de 10 ECRs sugerem que o treinamento de revisores por pares pode levar a pouca ou nenhuma melhora na qualidade da revisão por pares. Há necessidade de estudos com mais participantes e um espectro mais amplo de medidas de desfechos válidas e confiáveis. Os estudos que investigam as avaliações das partes interessadas (stakeholders) sobre a qualidade da revisão por pares devem garantir que estes instrumentos tenham níveis suficientes de validade e confiabilidade.
As instituições de financiamentos e os periódicos científicos utilizam a revisão por pares para decidir quais projetos financiar ou quais artigos publicar. O treinamento de revisores é uma intervenção para melhorar a qualidade da revisão por pares. No entanto, estudos sobre os efeitos desse treinamento produzem resultados inconsistentes e não existem revisões sistemáticas atualizadas que abordem esta questão.
Avaliar o efeito do treinamento de revisores por pares na qualidade da revisão de instituições de financiamento e periódicos.
Seguimos as recomendações metodológicas de buscas abrangentes conforme os padrões da Cochrane. A última data de busca foi 27 de abril de 2022.
Incluímos ensaios clínicos randomizados (ECR; incluindo ECRs por cluster (conglomerados)) que avaliaram a revisão por pares com intervenções de treinamento versus processos usuais, sem intervenções de treinamento ou outras intervenções para melhorar a qualidade da revisão por pares.
Seguimos as recomendações metodológicas da Cochrane. Nossos desfechos primários foram 1. integridade dos relatos e 2. detecção de erros pela revisão por pares. Nossos desfechos secundários foram 1. pontuações bibliométricas, 2. avaliação das partes interessadas (stakeholders) sobre a qualidade da revisão por pares, 3. concordância entre revisores, 4. desfechos centrados no processo, 5. satisfação dos revisores por pares e 6. taxa de conclusão e velocidade dos projetos financiados. Usamos a primeira versão da ferramenta Cochrane de risco de viés para avaliar o risco de viés e usamos o GRADE para avaliar a certeza nas evidências.
Incluímos 10 ECRs com um total de 1.213 unidades de análise. A unidade de análise foi o revisor individual em sete estudos (722 revisores no total) e o manuscrito revisado em três estudos (491 manuscritos no total).
Em oito ECRs, os participantes eram revisores de periódicos. Em dois estudos, os participantes eram revisores por pares. As intervenções de treinamento podem ser amplamente divididas em intervenções baseadas em diálogo (workshops interativos, treinamentos presenciais, mentorias) e comunicações unidireccionais (informações escritas, cursos em vídeo, listas de verificação (checklists), feedbacks por escrito). A maioria dos estudos era pequena.
Encontramos evidências de moderada certeza (qualidade) de que e-mails lembrando os revisores por pares de verificar os itens dos checklists de relatos, em comparação com a prática padrão dos periódicos, têm pouco ou nenhum efeito na integridade dos relatos, medida como a proporção de itens (de 0,00 a 1,00) que foram adequadamente relatados (diferença média (DM) 0,02, intervalo de confiança (IC) de 95% -0,02 a 0,06; 2 ECRs, 421 manuscritos).
Encontramos evidência de baixa certeza de que o treinamento dos revisores, em comparação com a prática padrão dos periódicos, melhora ligeiramente a capacidade dos revisores de detectar erros (DM 0,55, IC 95% 0,20 a 0,90; 1 ECR, 418 revisores).
Encontramos evidências de baixa certeza de que o treinamento de revisores, em comparação com a prática padrão de periódicos, tem pouco ou nenhum efeito na avaliação das partes interessadas (stakeholders) sobre a qualidade da revisão dos revisores por pares de periódicos (diferença média padronizada (DMP) 0,13 desvios padrão (DPs), IC 95% - 0,07 a 0,33; 1 ECR, 418 revisores) ou mudança na avaliação das partes interessadas (stakeholders) sobre a qualidade da revisão de revisores por pares de periódicos (DMP −0,15 DPs, IC 95% −0,39 a 0,10; 5 ECRs, 258 revisores).
Encontramos evidências de muito baixa certeza de que um curso em vídeo, em comparação com nenhum curso em vídeo, tem pouco ou nenhum efeito na concordância entre revisores na revisão por pares de instituições de financiamento (DM 0,14 pontos, IC 95% -0,07 a 0,35; 1 ECR, 75 revisores).
Encontramos evidência de baixa certeza de que o feedback individual estruturado sobre a pontuação, em comparação com informações gerais sobre a pontuação, tem pouco ou nenhum efeito na mudança da concordância entre os revisores na revisão por pares de instituições de financiamentos (DM 0,18 pontos, IC 95% -0,14 a 0,50; 1 ECR, 41 revisores, evidência de baixa certeza).
Tradução do Cochrane Brazil (Ana Carolina Pereira Nunes Pinto). Contato: tradutores.cochrane.br@gmail.com