Mensajes clave
- De media, las estimaciones del efecto de los ensayos controlados aleatorizados (ECA) y los estudios observacionales difieren solo ligeramente. Las estimaciones del efecto son conceptos estadísticos que describen la magnitud del efecto de una intervención en términos de la diferencia entre los desenlaces de dos grupos de personas en un ensayo o estudio clínico.
- Se necesitan más estudios de investigación con una cuidadosa consideración de los factores que podrían influir en las similitudes y diferencias de las estimaciones del efecto entre los distintos tipos de estudios.
¿Qué son los ECA y los estudios observacionales, y por qué difieren potencialmente sus estimaciones del efecto?
Los ensayos controlados aleatorizados (ECA) son un tipo de experimento sanitario en el que los participantes son asignados al azar a uno de dos (o más) grupos de tratamiento. Un grupo recibe un tratamiento experimental (también conocido como «intervención»); el otro es el grupo «control», que no recibe la intervención. Los ECA analizan la eficacia y seguridad de un tratamiento experimental en condiciones ideales.
Los estudios observacionales tratan de medir la efectividad de una intervención en escenarios no experimentales del «mundo real». Los estudios de casos y controles (o retrospectivos) u los estudios de cohortes son dos tipos de estudios observacionales habituales. Los estudios de casos y controles comparan un grupo de personas con una afección o enfermedad concreta con un grupo que no la padece, pero que es similar en otros aspectos. Los estudios de cohortes hacen un seguimiento de un grupo de personas con una característica común a lo largo del tiempo para averiguar cuántas alcanzan un determinado desenlace de salud de interés.
En ocasiones, los resultados de los ECA y los estudios observacionales que abordan la misma pregunta podrían tener resultados distintos. Este tipo de estudios difieren en cómo se llevan a cabo y en su susceptibilidad al error sistemático.
¿Qué se quería averiguar?
Se quería evaluar cómo afecta el tipo de estudio (ECA frente a estudios observacionales) a la estimación global del efecto y explorar los aspectos metodológicos que pudieran explicar las posibles diferencias.
¿Qué se hizo?
Se realizaron búsquedas en bases de datos de revisiones que compararan sistemáticamente las estimaciones del efecto informadas en ECA y estudios observacionales que abordaran la misma pregunta de investigación en salud. Se buscaron revisiones que incluyeran cualquier desenlace sanitario, sin restricciones en cuanto al idioma de publicación. Se buscaron revisiones/revisiones globales publicadas entre el 1 de enero de 1990 y el 12 de mayo de 2022. Luego se compararon los resultados de las revisiones y se resumió la evidencia. La confianza en la evidencia se calificó según factores como los métodos utilizados en las revisiones y su tamaño, así como la consistencia de los hallazgos entre las revisiones.
¿Qué se encontró?
Se identificaron 47 revisiones relevantes; 34 aportaron datos al análisis principal. Las revisiones compararon las estimaciones del efecto de los ECA con las de los estudios de cohortes, los estudios de casos y controles, o ambos. Las revisiones abordaron diversos temas relacionados con la salud. Se realizaron en países de todo el mundo, aunque la mayoría se hicieron en EE. UU. Doce revisiones no informaron sobre su financiación. En ocho revisiones, los autores declararon no haber recibido financiación. En 23 revisiones, los autores declararon haber recibido financiación pública, como financiación gubernamental o de universidades o fundaciones. Dos revisiones fueron financiadas por la Unión Europea y dos revisiones declararon haber recibido financiación de la industria. La mayoría de las revisiones financiadas declararon varias fuentes de financiación.
Resultados principales
- Se observó que las estimaciones del efecto de los ECA y los estudios observacionales podrían diferir muy poco o nada.
- Podrían haber diferencias pequeñas al comparar las estimaciones del efecto de los estudios que investiguen solo medicamentos (en comparación con otros tratamientos de salud, como la cirugía o la fisioterapia).
También se hallaron pocas diferencias en las estimaciones del efecto basadas en datos de:
- metanálisis de ECA y estudios observacionales que mostraron considerable heterogeneidad estadística; es decir, variabilidad en los efectos de la intervención evaluados en los distintos estudios;
- estudios observacionales que no utilizaron métodos para tener en cuenta las características de la población que pueden influir en la eficacia de una intervención (ajuste del índice de propensión) o que no lo hicieron de forma clara;
- estudios observacionales que no proporcionaron suficiente información sobre su diseño.
¿Cuáles son las limitaciones de la evidencia?
Se tiene poca confianza en la evidencia porque las revisiones incluidas podrían tener riesgo de errores sistemáticos debido a cómo se realizaron. Además, las revisiones trataban de distintos tipos de personas e intervenciones, lo que significa que los resultados individuales entre las revisiones difirieron considerablemente.
¿Qué grado de actualización tiene esta revisión?
La evidencia está actualizada hasta mayo de 2022.
No se encontró ninguna diferencia o se encontró una diferencia muy pequeña entre las estimaciones del efecto de los ECA y los estudios observacionales. Estos resultados coinciden en gran medida con los de investigaciones publicadas recientemente. Al explorar las razones de la falta de concordancia entre los resultados de los ECA y los estudios observacionales deben considerarse otros factores además del diseño del estudio, como diferencias en la población, la intervención, el comparador y los desenlaces investigados en los respectivos estudios. Estos resultados subrayan que es importante que los autores de las revisiones tengan en cuenta no solo el diseño de los estudios, sino el nivel de heterogeneidad, en los metanálisis de ECA o de estudios observacionales. Es preciso comprender mejor cómo podrían estos factores producir estimaciones que reflejen la verdadera efectividad.
Los investigadores y quienes intervienen en la toma de decisiones suelen utilizar la evidencia de ensayos controlados aleatorizados (ECA) para determinar la eficacia o la efectividad de un tratamiento o intervención. Los estudios con diseño observacional se suelen utilizar para medir la efectividad de una intervención en escenarios del «mundo real». En la investigación comparativa de la efectividad se utilizan numerosos diseños de estudios y sus modificaciones (incluidos diseños aleatorizados y observacionales) para tratar de ofrecer una estimación no sesgada de si un tratamiento es más eficaz o más seguro que otro para una población concreta. Se precisa de un análisis sistemático actualizado para identificar las diferencias en las estimaciones del efecto de los ECA y los estudios observacionales. Esta revisión actualizada resume los resultados de revisiones metodológicas que compararon las estimaciones del efecto de estudios observacionales con las de ECA de síntesis de evidencia que abordaron la misma pregunta de investigación en salud.
Evaluar y comparar las estimaciones del efecto resumidas según el tipo de estudio, contrastando los ECA con los estudios observacionales.
Explorar los factores que podrían explicar las diferencias en las estimaciones del efecto resumidas de los ECA versus los estudios observacionales (p. ej., la heterogeneidad, el tipo de diseño del estudio observacional, el tipo de intervención y el uso del ajuste del índice de propensión).
Identificar la falta de estudios de investigación existentes que comparen las estimaciones del efecto en distintos tipos de estudios.
Se realizaron búsquedas en MEDLINE, la Base de Datos Cochrane de Revisiones Sistemáticas (Cochrane Database of Systematic Reviews), las bases de datos de Web of Science y Epistemonikos hasta mayo de 2022. Se verificaron las referencias, se buscaron las citas y se estableció contacto con los autores de los estudios para identificar estudios adicionales.
Se incluyeron las revisiones sistemáticas metodológicas que compararan las estimaciones cuantitativas del efecto que midieran la eficacia o la efectividad de las intervenciones analizadas en ECA con las de estudios observacionales. Las revisiones incluidas compararon ECA con estudios observacionales (incluyendo cohortes retrospectivas y prospectivas, diseños de casos y controles y diseños transversales). Las revisiones no fueron elegibles si compararon ECA con otros estudios que hubieran utilizado alguna forma de asignación simultánea.
Utilizando los resultados de los estudios observacionales como grupo de referencia, se examinaron las estimaciones globales relativas del efecto (razones de riesgos [RR], odds ratios [OR], cociente de riesgos instantáneos [CRI], diferencias de medias [DM] y diferencias de medias estandarizadas [DME]) para evaluar si hubo un efecto relativamente mayor o menor en la razón de odds ratios (ROR) o la razón de razones de riesgos (RRR), razón de cociente de riesgos instantáneos (RCRI) y diferencia en las diferencias de medias (estandarizadas) (DDM[E]).
Cuando la revisión no proporcionó una estimación que comparara los resultados de ECA con los de estudios observacionales, se generó una mediante la agrupación de las estimaciones de los estudios observacionales y de los ECA, respectivamente. En todas las revisiones, se resumieron estas razones para obtener una razón de razones agrupada que comparara las estimaciones del efecto de los ECA con las de los estudios observacionales. En las revisiones globales, se calculó la ROR y la RRR de cada revisión global para cada revisión utilizando los estudios observacionales como categoría de referencia.
Se evaluó el riesgo de sesgo de las revisiones incluidas (mediante nueve criterios en total). Para recibir una calificación general de bajo riesgo de sesgo, una revisión incluida debía tener: criterios explícitos para la selección de los estudios, una muestra completa de estudios y haber tenido en cuenta las diferencias metodológicas y la heterogeneidad de los estudios. Se consideró que las revisiones/revisiones globales que no cumplían estos cuatro criterios tenían un alto riesgo general de sesgo.
La certeza de la evidencia, que consistió en múltiples síntesis de evidencia, se evaluó mediante el método GRADE.
Se incluyeron 39 revisiones sistemáticas y ocho revisiones globales de revisiones: 47 revisiones en total. De estas, 34 aportaron datos al análisis principal. De acuerdo con los datos disponibles, se encontró que las revisiones/revisiones globales incluyeron 2869 ECA con 3 882 115 participantes, y 3924 estudios observacionales con 19 499 970 participantes.
Se consideró que 11 revisiones/revisiones globales tenían bajo riesgo general de sesgo, y 36 tenían un riesgo de sesgo incierto o alto. Las principales preocupaciones con las revisiones/revisiones globales incluidas fueron que algunas no evaluaron la calidad de los estudios que incluyeron y algunas no tuvieron en cuenta adecuadamente las diferencias entre los diseños de los estudios; por ejemplo, realizaron análisis agregados de todos los estudios observacionales en lugar de análisis separados de los estudios de cohortes y de casos y controles.
Al agrupar las ROR y las RRR, la razón de razones indicó que había poca o ninguna diferencia entre las estimaciones del efecto de los ECA y las de los estudios observacionales (razón de razones 1,08; intervalo de confianza [IC] del 95%: 1,01 a 1,15). La certeza de la evidencia se consideró baja. En 23 de 34 revisiones se informó de estimaciones del efecto de ECA y estudios observacionales que coincidieron de media.
En varios análisis de subgrupos se detectaron pequeñas diferencias en las estimaciones del efecto:
- intervenciones farmacéuticas solo (razón de razones 1,12; IC del 95%: 1,04 a 1,21);
- ECA y estudios observacionales con heterogeneidad considerable o alta; es decir, I
2
≥ 50% (razón de razones 1,11; IC del 95%: 1,04 a 1,18);
- ausencia (razón de razones 1,07; IC del 95%: 1,03 a 1,11) o uso poco claro (razón de razones 1,13; IC del 95%: 1,03 a 1,25) del ajuste del índice de propensión en estudios observacionales; y
- estudios observacionales sin especificación adicional acerca del diseño del estudio (razón de razones 1,06; IC del 95%: 0,96 a 1,18).
No se detectaron diferencias claras en otros análisis de subgrupos.
La traducción de las revisiones Cochrane ha sido realizada bajo la responsabilidad del Centro Cochrane Iberoamericano, gracias a la suscripción efectuada por el Ministerio de Sanidad del Gobierno de España. Si detecta algún problema con la traducción, por favor, contacte con comunica@cochrane.es.