برای مقایسه تاثیرات درمان‌ها در تست‌های منصفانه، از تخصیص تصادفیسازی شده به گروه‌های مختلف استفاده می‌شود تا مشخص شود کدام یک از گزینه‌های درمانی ارجحیت دارند. بااین‌حال، این نوع تخصیص فقط در صورتی اخلاقی است که عدم قطعیت واقعی در مورد ترجیح یکی از گزینه‌های درمانی وجود داشته باشد. اگر بیمار یا ارائه‌دهنده خدمات مراقبت سلامت مطمئن باشد یکی از درمان‌های مقایسه‌شده ارجحیت دارد، نباید با تخصیص تصادفیسازی شده موافقت کنند، زیرا این امر مستلزم خطر اختصاص یافتن به درمانی است که معتقدند اثربخشی کمتری دارند. تصمیم‌گیری در مورد مشارکت در کارآزمایی‌های تصادفیسازی شده، به‌دلیل این باور گسترده مبنی بر برتری اجتناب‌ناپذیر درمان‌های جدید نسبت به درمان‌های موجود (استاندارد)، دشوارتر می‌شود. در واقع، قابل درک است که افراد امیدوارند این اتفاق افتد. بااین‌حال، اگر این فرض واقعا صحیح بود، شرط اخلاقی مبنی بر وجود عدم قطعیت در بسیاری از موارد صدق نمی‌کرد. این مرور روش‌شناسی (methodology) کاکرین به بررسی این پرسش مهم می‌پردازد: «احتمال برتری درمان‌های جدید در مقایسه با درمان‌های تثبیت‌شده در کارآزمایی‌های تصادفیسازی شده چقدر است؟» چهار گروه کوهورت از کارآزمایی‌های تصادفیسازی شده متوالی، با بودجه عمومی، که در مجموع شامل 743 کارآزمایی با 297,744 بیمار بودند، معیارهای ورود به این مرور را داشتند. ما دریافتیم که، به‌طور میانگین، درمان‌های جدید نسبت به درمان‌های تثبیت‌شده، هم از نظر پیامدهای اولیه و هم از نظر بقای کلی، نتایج مطلوب‌تری دارند. به عبارت دیگر، هنگامی که درمان‌های جدید با درمان‌های تثبیت‌شده در کارآزمایی‌های تصادفیسازی شده مقایسه می‌شوند، می‌توان انتظار داشت که کمی بیش از نیمی از آنها بهتر از درمان‌های تثبیت‌شده، و کمی کمتر از نیمی از آنها بدتر از درمان‌های تثبیت‌شده باشند. این نتیجه‌گیری در مورد کارآزمایی‌های انجام‌شده با بودجه عمومی صدق می‌کند، زیرا مطالعات دارای حامیان مالی تجاری را در آنالیزها وارد نکردیم. نتایج با پیش‌شرط‌های اخلاقی برای تخصیص تصادفیسازی شده هم‌سو و سازگار است - وقتی افراد در کارآزمایی‌های تصادفیسازی شده وارد می‌شوند، نتایج را نمی‌توان از قبل پیش‌بینی کرد زیرا عدم قطعیت واقعی در مورد اینکه کدام یک از درمان‌های مقایسه‌شده در کارآزمایی‌های تصادفیسازی شده برتر است، وجود دارد.
جامعه می‌تواند انتظار داشته باشد که اندکی بیش از نیمی از درمان‌های تجربی جدید، هنگام تست در RCTها، بهتر از درمان‌های تثبیت‌شده نشان داده شوند، اما تعداد کمی از آنها به‌طور قابل توجهی بهتر خواهند بود. این یافته‌ای مهم برای بیماران (هنگام بررسی مشارکت در RCTها)، پژوهشگران (هنگام برنامه‌ریزی برای طراحی کارآزمایی‌های جدید) و تامین‌کنندگان مالی (هنگام ارزیابی «بازده سرمایه‌گذاری») محسوب می‌شود. اگرچه ما بهترین شواهد موجود را در مورد سوال «میزان موفقیت» مورد انتظار برای درمان‌های جدید در مقایسه با درمان‌های تثبیت‌شده ارائه می‌دهیم که هم‌سو و سازگار با پیش‌بینی‌های نظری پیشین هستند که منعکس‌کننده «فرضیه عدم قطعیت یا تعادل» هستند، باید توجه داشت که نمونه ما کمتر از 1% از کل کارآزمایی‌های تصادفیسازی شده موجود را نشان می‌دهد؛ بنابراین، باید در تفسیر یافته‌ها احتیاط لازم را اعمال کرد. علاوه‌بر این، نتیجه‌گیری ما فقط برای کارآزمایی‌هایی با بودجه عمومی صادق است، زیرا مطالعاتی را که توسط حامیان تجاری تامین مالی شدند، در این آنالیزها وارد نکردیم.
نسبت «موفقیت» درمان‌های جدید پیشنهادی، از اهمیت اخلاقی، علمی و اجتماعی برخوردار است. ما در این مطالعه، بررسی کردیم که درمان‌های تجربی جدید ارزیابی‌شده در کارآزمایی‌های تصادفیسازی و کنترل‌شده (randomised controlled trials; RCTs) نسبت به درمان‌های تثبیت‌شده تا چه میزان برتری دارند.
سوال اصلی این بود: «به‌طور میانگین، تا چه میزان درمان‌های جدید نسبت به درمان‌های تثبیت‌شده موثر هستند؛ بیشتر، به یک اندازه، یا کمتر از آنها؟» علاوه‌بر این، خواستیم نتایج مشاهده‌شده را توضیح دهیم، یعنی اینکه توزیع پیامدها با «الزام عدم قطعیت» برای ورود در RCTها هم‌سو و سازگار است یا خیر. همچنین تاثیر انتخاب مقایسه‌کننده (فعال در مقایسه با عدم درمان/دارونما (placebo)) را بر نتایج مشاهده‌شده بررسی کردیم.
پایگاه ثبت روش‌شناسی (methodology) در کاکرین (CMR)، سال 2010، شماره 1 در کتابخانه کاکرین (در 31 مارچ 2010 جست‌وجو شد)؛ MEDLINE Ovid از 1950 تا هفته 2 مارچ 2010 (در 24 مارچ 2010 جست‌وجو شد)؛ و EMBASE Ovid از 1980 تا هفته 11 سال 2010 (در 24 مارچ 2010 جست‌وجو شد) را جست‌وجو کردیم.
گروه‌های کوهورت از مطالعات در صورتی واجد شرایط برای آنالیز بودند که با همه معیارهای زیر مطابقت داشته باشند: (الف) سری‌های متوالی از RCTها، (ب) ثبت‌شده در زمان شروع مطالعه یا پیش‌از آن، و (ج) مقایسه درمان‌های جدید در برابر درمان‌های تثبیت‌شده در انسان‌ها.
RCTها از چهار گروه کوهورت از RCTهایی که همه معیارهای ورود را داشتند، داده‌هایی را از 743 مورد RCT شامل 297,744 بیمار ارائه کردند. هر چهار گروه کوهورت شامل کارآزمایی‌هایی بودند که با بودجه عمومی انجام می‌شدند. دو گروه کوهورت شامل ارزیابی درمان‌های جدید برای سرطان بودند، یک گروه در حوزه اختلالات عصبی، و دیگری در حوزه انواع مختلف بیماری‌ها. از برآورد چگالی کرنل (kernel density estimation)، متاآنالیز و متارگرسیون برای ارزیابی احتمال برتری درمان‌های جدید نسبت به درمان‌های تثبیت‌شده در تاثیرشان بر پیامدهای اولیه و بقای کلی بیماران، استفاده کردیم.
توزیع تاثیرات مشاهده‌شده، به‌طور کلی در اندازه تفاوت میان درمان‌های جدید و درمان‌های تثبیت‌شده، متقارن بود. متاآنالیز تجمعی نشان داد که، به‌طور میانگین، درمان‌های جدید هم از نظر تاثیر بر کاهش پیامدهای اولیه (نسبت خطر (HR)/نسبت شانس (OR): 0.91؛ 99% فاصله اطمینان (CI): 0.88 تا 0.95) و هم از نظر بهبود بقای کلی (HR: 0.95؛ 99% CI؛ 0.92 تا 0.98) اندکی مطلوب‌تر بودند. هیچ ناهمگونی (heterogeneity) در آنالیزهای انجام‌شده، براساس پیامدهای اولیه یا بقای کلی، مشاهده نشد (I 2 = 0%). آنالیز چگالی کرنل با متاآنالیز هم‌سو و سازگار بود، اما توزیع نسبتا متقارنی را از درمان‌های جدید در مقایسه با درمان‌های تثبیت‌شده نشان داد که بیانگر عدم پیش‌بینی‌پذیری نتایج است. این یافته با تفسیر مبنی بر برتری اندک درمان‌های جدید نسبت به درمان‌های تثبیت‌شده‌ای که در RCTها تست شده‌اند، هم‌سو و سازگار بود. علاوه‌بر این، متارگرسیون نشان داد که نتایج در طول زمان پایدار مانده و میزان موفقیت درمان‌های جدید در طول نیم قرن گذشته از کارآزمایی‌های بالینی، تغییر نکرده است. نتایج به‌طور قابل توجهی تحت تاثیر انتخاب مقایسه‌کننده (فعال در مقایسه با دارونما/عدم درمان) قرار نگرفت.
این متن توسط مرکز کاکرین ایران به فارسی ترجمه شده است.