Uma revisão sistemática resume as de múltiplos estudos para responder a uma pergunta de pesquisa específica (por exemplo, quais são os benefícios e danos de uma intervenção específica para uma determinada condição de saúde?) Muitas vezes, há muitos desfechos que os autores de revisões sistemáticas poderiam relatar para abordar sua pergunta de pesquisa (por exemplo, dor, incapacidade e qualidade de vida para pacientes com condições músculo-esqueléticas). Além disso, há muitos resultados diferentes disponíveis para um determinado desfecho (por exemplo, um estudo poderia medir a dor usando três escalas diferentes em quatro momentos (pontos do tempo) distintos). Se a decisão sobre quais desfechos investigar em uma revisão sistemática for tomada com base nos resultados destes desfechos nos estudos elegíveis, isso pode levar a um viés. Assim, se a decisão sobre quais desfechos relatar em uma revisão sistemática e as maneiras de relatá-los for baseada nos seus resultados, isto pode levar os leitores da revisão sistemática a conclusões errôneas.
Esta revisão metodológica resume os resultados de estudos que avaliaram a inclusão e o relato de desfechos em revisões sistemáticas. Fizemos buscas por estudos indexados (registrados/organizados) em bases de dados bibliográficas eletrônicas até maio de 2013. Incluímos sete estudos e identificamos que os desfechos investigados e relatados nas revisões sistemáticas eram freqüentemente alterados na revisão sistemática publicada quando comparados aos que tinham sido programados no protocolo. Também não ficou claro se a decisão de fazer estas mudanças estava relacionada ao quão estatisticamente convincente era o efeito do tratamento para esse desfecho. Mais estudos são necessários para confirmar se esta relação existe. Além disso, um estudo concluiu que algumas revisões sistemáticas não relataram todos os desfechos mais importantes no resumo da revisão. Outro estudo verificou que desfechos com um resultado estatisticamente mais convincente eram mais propensos a serem completamente relatados no resumo do que outros desfechos. Os estudos que incluímos foram limitados a revisões sistemáticas publicadas antes de 2009. Novos estudos são necessários para avaliar a inclusão e o relato dos desfechos em revisões sistemáticas mais recentes.
O relato discrepante dos desfechos entre o protocolo registrado e a revisão sistemática publicada é bastante comum. Apesar disso, a associação entre a significância estatística e o relato discrepante do desfecho é incerta. O relato completo dos desfechos em resumos de revisões sistemáticas está associado à significância estatística dos resultados para esses desfechos. Para minimizar as decisões posteriores que podem ser baseadas nos resultados observados, os desfechos da revisão sistemática e os planos de análise devem ser especificados antes que o autor da revisão sistemática veja os resultados dos estudos incluídos. As modificações e justificativas para mudanças em relação ao protocolo da revisão devem ser claramente relatadas. As estimativas de efeitos e ICs devem ser relatadas para todos os desfechos da revisão sistemática, independentemente dos resultados. A falta de pesquisas sobre a inclusão seletiva dos resultados em revisões sistemáticas precisa ser abordada e também são necessários estudos que evitem as deficiências metodológicas das pesquisas existentes.
As revisões sistemáticas podem ser comprometidas pela inclusão e relato seletivos de desfechos e análises. A inclusão seletiva ocorre quando há estimativas de efeitos múltiplos em um relato de um estudo que poderiam ser incluídos em uma metanálise específica (por exemplo, o desfecho é avaliado a partir de múltiplas escalas e em vários pontos do tempo de acompanhamento) e a escolha da estimativa de efeito a ser incluída na metanálise é baseada nos resultados (ou seja, significância estatística, magnitude ou direção do efeito). Os relatos seletivos ocorrem quando um subconjunto de desfechos e análises é relatado na revisão sistemática com base nos resultados (por exemplo, um desfecho definido no protocolo é omitido da revisão sistemática publicada).
Para resumir as características e sintetizar os resultados de estudos empíricos que investigaram a prevalência da inclusão ou relato seletivos em revisões sistemáticas de ensaios clínicos randomizados (ECR), investigamos os fatores (por exemplo, significância estatística ou direção do efeito) que estavam associados com a prevalência de inclusão ou relato seletivos e quantificamos o viés.
Fizemos buscas no Cochrane Methodology Register (até julho de 2012), Ovid MEDLINE, Ovid EMBASE, Ovid PsycINFO e ISI Web of Science (cada um até maio de 2013), e na US Agency for Healthcare Research and Quality (AHRQ) Effective Healthcare Program's Scientific Resource Center (SRC) Methods Library (até junho de 2013). Também fizemos buscas nos anais de Colóquios Cochrane de 2011 e 2012 e nos alertas de artigos para trabalhos metodológicos em sínteses de estudos publicados de 2009 a 2011 e compilados no Research Synthesis Methods.
Incluímos estudos empíricos publicados e não publicados que avaliaram a prevalência e os fatores associados à inclusão ou ao relato seletivos, ou ambos, em revisões sistemáticas de ECRs de intervenções em saúde. Incluímos estudos empíricos que avaliaram qualquer tipo de inclusão ou relato seletivos. Por exemplo, incluímos estudos sobre a freqüência com que os dados dos desfechos de ECRs são incluídos em revisões sistemáticas com base nos resultados destes desfechos, e os desfechos e análises são discrepantes entre o protocolo prévio e a revisão publicada, ou desfechos não significativos são parcialmente relatados no texto completo ou no resumo das revisões sistemáticas.
Dois autores da revisão, trabalhando de forma independente, selecionaram os estudos para inclusão, extraíram os dados e realizaram uma avaliação do risco de viés dos estudos incluídos. Um terceiro autor da revisão resolveu quaisquer discordâncias sobre a inclusão ou exclusão de estudos, extração de dados ou risco de viés. Entramos em contato com autores de estudos incluídos para obter dados adicionais não publicados. Os desfechos primários foram a prevalência geral da inclusão ou relato seletivos, a associação entre inclusão ou relato seletivos e a significância estatística da estimativa do efeito, e a associação entre inclusão ou relato seletivos e a direção da estimativa do efeito. Agrupamos estimativas de prevalência e riscos relativos (RR) usando metanálises com modelos de efeitos aleatórios.
Sete estudos preencheram aos critérios de inclusão. Nenhum estudo havia investigado a inclusão seletiva de desfechos em revisões sistemáticas, ou discrepâncias entre os registros de revisões sistemáticas e as revisões sistemáticas publicadas quanto aos desfechos e análises. Com base em uma metanálise de quatro estudos (com um total de 485 revisões Cochrane), 38% (intervalo de confiança de 95% (IC) 23% a 54%) de revisões sistemáticas adicionaram, omitiram, “subiram a ordem” ou “desceram a ordem” de pelo menos um desfecho entre o registro do protocolo e a publicação da revisão sistemática. A associação entre significância estatística e a discrepância dos desfechos entre o protocolo e a revisão sistemática publicada foi incerta. Apesar de o IC 95% não ter incluído nenhuma associação e um risco menor como estimativas plausíveis (RR 1,43, IC 95% 0,71 a 2,85; dois estudos, n = 552 metanálises), a estimativa metanalítica sugeriu um risco maior de adição ou atualização (ou seja, mudança de um desfecho secundário para primário) quando o desfecho era estatisticamente significativo. Além disso, embora o IC 95% não incluísse nenhuma associação e um risco menor como estimativas plausíveis (RR 1,26, IC 95% 0,60 a 2,62; dois estudos, n = 484 metanálises), a estimativa metanalítica sugeriu um risco maior de rebaixamento (ou seja, mudar um desfecho de primário para secundário) quando o desfecho era estatisticamente significativo. Nenhum dos estudos incluídos investigou se a associação entre significância estatística e adição, atualização ou rebaixamento de desfechos foi modificada pelo tipo de comparação, direção do efeito ou tipo de desfecho; ou se existe uma associação entre a direção da estimativa do efeito e o relato discrepante dos desfechos.
Vários desfechos secundários foram relatados nos estudos incluídos. Dois estudos identificaram que as razões para o relato discrepante dos desfechos foram raramente relatadas em revisões sistemáticas publicadas (6% em um estudo e 22% no outro). Um estudo (com um total de 62 revisões Cochrane) encontrou que 32% (IC 95% 21% a 45%) das revisões sistemáticas não relataram todos os desfechos primários no resumo. Outro estudo (com um total de 64 revisões Cochrane e 118 revisões não-Cochrane) identificou que desfechos primários estatisticamente significativos tinham mais probabilidade de serem completamente relatados no resumo da revisão sistemática do que desfechos primários não significativos (RR 2,66, IC 95% 1,81 a 3,90). Nenhum dos estudos incluiu revisões sistemáticas publicadas após 2009 quando foram divulgados os padrões de relato para revisões sistemáticas (Preferred Reporting Items for Systematic reviews e Meta-Analyses Statement (PRISMA)) e as expectativas metodológicas (Methodological Expectations of Cochrane Intervention Reviews (MECIR)). Assim, estes resultados podem não ser generalizáveis para revisões sistemáticas mais recentes.
Tradução do Cochrane Brazil (Ana Carolina Pereira Nunes Pinto). Contato: tradutores.cochrane.br@gmail.com