Hintergrund
Fragebögen sind wichtige Werkzeuge in der Gesundheits- und klinischen Forschung, da sie eine geeignete Möglichkeit sind, um Daten von großen Stichproben zu sammeln, sensible Themen zu adressieren, und weniger ressourcenintensiv als andere Techniken der Datenerhebung sind. Fragebögen können elektronisch über Smartphones und Tabletcomputer zugestellt werden, was die Skalierbarkeit und Geschwindigkeit der Datensammlung bei gleichzeitiger Kostensenkung maximiert. Bevor jedoch diese Technik weithin angewandt wird, müssen wir verstehen, wie sie die Qualität der gesammelten Antworten beeinflussen könnte. Insbesondere dann, wenn man bedenkt, welche Auswirkungen die Datenqualität auf die Evidenz haben könnte, die viele Entscheidungen im Bereich Public Health und im Gesundheitswesen stützt.
Ziele
In diesem Cochrane Review untersuchten wir die Auswirkungen, die die Anwendungen von Apps zur Durchführung von Fragebögen auf verschiedene Aspekte der Qualität der Antworten haben kann. Dazu gehören Antwortraten, die Genauigkeit der Daten, die Vollständigkeit der Daten, die benötigte Zeit eine Umfrage auszufüllen, und die Akzeptanz durch die Befragten.
Methoden und Ergebnisse
Wir suchten nach Studien, die zwischen Januar 2007 und April 2015 veröffentlicht wurden. Wir schlossen 14 Studien ein und analysierten Daten von 2.272 Teilnehmern. Wegen der Unterschiede in den Studien, haben wir keine Meta-Analyse durchgeführt. Stattdessen beschreiben wir die Ergebnisse jeder Studie. Die Studien fanden in zwei Arten von Settings statt: kontrolliert und unkontrolliert. Ersteres bezieht sich auf ein klinisches Umfeld oder ein Umfeld in dem Forschung durchgeführt wird, in dem Ärzte oder Wissenschaftler in der Lage waren potenzielle Störfaktoren besser zu kontrollieren. dazu gehören der Ort und die Tageszeit der Durchführung, die Art der Technologie und den Grad der Hilfestellung für Befragte, die technischen Schwierigkeiten hatten. Ein unkontrolliertes Setting bezieht sich auf Standorte außerhalb des klinischen Umfelds oder eines Umfelds in dem keine Forschung durchgeführt wird (z.B. das zu Hause des Befragten). Wir fanden, dass Apps in beiden Settings gleichwertig sein können wie andere Verbreitungsarten, z.B. Papier, Laptops und SMS. Es ist unklar, ob Apps eine schnellere Beantwortung des Fragebogens als andere Verbreitungsarten zulassen könnte. Stattdessen deuten unsere Ergebnisse darauf hin, dass Faktoren wie die Eigenschaften der klinischen Population und Design des Fragebogens und des Interface die Auswirkungen auf dieses Ergebnis beeinflussen könnten. Die Datenvollständigkeit und Einhaltung des Stichprobenprotokolls wurden nur in unkontrollierten Settings berichtet. Unsere Ergebnisse zeigen, dass Apps vollständiger Datensätze liefern können, und die Einhaltung von Protokollen im Vergleich zu Papier, aber nicht im Vergleich zu SMS verbessern kann. Es gab mehrere Definitionen der Akzeptanz der Befragten, die über die eingeschlossenen Studien nicht standardisiert werden konnten. Keine der eingeschlossenen Studien berichten über die Antwortraten oder Datengenauigkeit.
Schlussfolgerung
Insgesamt gibt es nicht genügend Evidenz, um klare Empfehlungen über die Auswirkungen zu machen, die Apps auf Antworten auf Fragebögen haben. Apps beeinflussen wahrscheinlich nicht die Datenäquivalenz solange die klinische Anwendung, die Anwendungsfrequenz und das Setting der Validierung unverändert sind. Zukünftige Forschung sollte prüfen, wie die Gestaltung der Interaktion mit dem Benutzer, Fragebogen und Intervention die Datenäquivalenz und die anderen in diesem Review bewerteten Endpunkte beeinflussen könnte.
Basierend auf einer narrativen Evidenzsynthese weisen die Ergebnisse daraufhin, dass Apps wahrscheinlich nicht die Datenäquivalenz beeinflussen solange die klinische Anwendung, die Anwendungsfrequenz und das Setting der Validierung nicht verändert werden. Es gab keine Daten zur Datengenauigkeit oder zu Antwortraten. Außerdem waren die Daten zur benötigten Dauer für die Beantwortung eines Selbstbeurteilungsfragebogens widersprüchlich. Obwohl Apps wahrscheinlich die Datenvollständigkeit verbessern, gibt es nicht genug Evidenz, um ihren Einfluss auf die Einhaltung des Stichprobenprotokolls festzustellen. Keine der eingeschlossenen Studien beurteilte, ob und wie Elemente von Benutzer-Interaktions-Designs, Design des Fragebogens und Interventionsdesign die Methode beeinflussen könnten. Wissenschaftler im Bereich Public Health und Epidemiologie sollten nicht davon ausgehen, dass methodische Effekte, die bei anderen Arten der Durchführung beobachtet wurden, auch für Smartphone- und Tablet-Apps gelten. Wissenschaftler, die in der Methodenentwicklung tätig sind, können die in diesem systematischen Review hervorgehobenen offenen Fragestellungen weiter explorieren.
Selbstbeurteilungsfragebögen sind ein wichtiges Werkzeug zur Datenakquise in der klinischen Praxis, der Gesundheitsforschung und der Epidemiologie. Sie sind ideal, um eine weite geographische Abdeckung der Zielpopulation zu erreichen, sensible Themen zu adressieren und sie sind ressourcenschonender als andere Datenerhebungsmethoden. Diese Selbstbeurteilungsfragebögen können elektronisch zugestellt werden, was die Skalierbarkeit und Geschwindigkeit der Datensammlung bei gleichzeitiger Kostensenkung maximiert. In den letzten Jahren hat die Verwendung von Apps auf Smartphones und Tabletcomputern zu diesem Zweck beträchtliche Aufmerksamkeit erhalten. Jedoch können Unterschiede in der Zustellmethode von Fragebögen die Qualität der erhaltenen Antworten beeinflussen.
Es soll die Wirkung von Smartphone und Tablet-Apps als Zustellmethode auf die Qualität der Antworten von Selbstbeurteilungsfragebögen im Vergleich zu alternativen Methoden, wie Papierform, Laptop, Tabletcomputer (hergestellt vor 2007), „short message service“ (SMS) oder plastischen Objekten untersucht werden.
Die Datenbanken MEDLINE, EMBASE, PsycINFO, IEEEXplore, Web of Science, CABI: CAB Abstracts, Current Contents Connect, ACM Digital, ERIC, Sociological Abstracts, Health Management Information Consortium, Campbell Library und CENTRAL wurden durchsucht. ClinicalTrials.gov und die „International Clinical Trials Registry Platform“ der „World Health Organization“ (WHO) wurden weiterhin nach aktuellen und laufenden Studien durchsucht. Zusätzlich wurde nach grauer Literatur in OpenGrey, Mobile Active und ProQuest Dissertation & Theses gesucht. Die Suche wurde schließlich durch „Google Scholar“ und die Referenzlisten der inkludierten Studien und relevanten systematischen Reviews vervollständigt. Alle Suchen wurden am 12. und 13. April 2015 durchgeführt.
Es wurden alle randomisierten kontrollierten Studien, Crossover-Studien und Studien mit gepaart wiederholten Messungen eingeschlossen, die die elektronische Zustellung von Selbstbeurteilungsfragebögen via Smartphone- oder Tablet-App mit einer anderen Zustellungsmethode verglichen. Es wurden alle Daten von Teilnehmern eingeschlossen,die einen gesundheitsbezogenen Selbstbeurteilungsfragebogen(validiert und nicht-validiert) vollständig beantwortet hatten. Außerdem wurden Daten von gesunden Freiwilligen und Teilnehmern mit jeglicher klinischer Diagnose eingeschlossen, sowie Studien, die einender folgenden Endpunkte berichteten:Datenäquivalenz, Datengenauigkeit, Datenvollständigkeit,Antwortraten, Unterschiede in der benötigten Zeit zur Beantwortung des Selbstbeurteilungsfragebogens,Unterschiede in der Einhaltung des ursprünglichen Stichprobenprotokolls und Annehmbarkeit der Zustellmethode durch die Teilnehmer. Studien, die 2007 oder später publiziert wurden,wurden eingeschlossen, da zu dieser Zeit die Geräte auf den Markt kamen, deren Betriebssysteme App-fokussiert sind.
Zwei Review-Autoren extrahierten unabhängig voneinander die Daten der eingeschlossenen Studien unter Verwendung eines für dieses Review inREDCap erstellten standardisierten Datenextraktionsformulars. Die Autoren verglichen dann die Formulare, um einen Konsens zu erreichen. Durch eine initiale systematische Zuordnung der eingeschlossenen Studien wurden zwei Settings identifiziert, in denen die Umfragen durchgeführt wurden: kontrollierte und unkontrollierte. Diese Settings unterschieden sich in folgenden Punkten: (1) Ort zur Beantwortung der Umfrage, (2) Frequenz und Intensität des Stichprobenprotokolls, (3) und Level der Kontrolle über potenzielle Confounder (z. B. Technologie, Maß an Hilfestellung für die Teilnehmer). Eine narrative Evidenzsynthese wurde erstellt, da eine Metaanalyse aufgrund der hohen klinischen und methodischen Heterogenität ungeeignet war. Die Ergebnisse für jeden Endpunkt wurden entsprechend des Settings der eingeschlossenen Studien berichtet.
Es wurden 14 Studien (15 Publikationen) mit insgesamt 2275 Teilnehmern eingeschlossen. Jedoch wurden nur 2272 Teilnehmerin der finalen Analyse berücksichtigt, da die Daten von 3 Studienteilnehmern aus einer Studie fehlten.
Bezüglich der Datenäquivalenz konnte in den inkludierten Studien, sowohl in kontrollierten als auch in unkontrollierten Settings, kein signifikanter Unterschied hinsichtlich der durchschnittlichen Gesamtpunktzahlen zwischen Apps und anderen Zustellmethoden gefunden werden. Auch die Korrelationskoeffizienten überschritten die empfohlenen Schwellenwerte für Datenäquivalenz. Bezüglich der Zeit zur vollständigen Beantwortung eines Selbstbeurteilungsfragebogens zeigte eine Studie in einem kontrollierten Setting, dass die App schneller war als die Beantwortung der Papierversion, während eine andere Studie im gleichen Setting keine signifikanten Unterschiede zwischen den verschiedenen Arten der Durchführung zeigte. In einem unkontrollierten Setting zeigte eine Studie, dass eine App schneller war als eine SMS. Die Datenvollständigkeit und Einhaltung des Stichprobenprotokolls wurden nur in unkontrollierten Settings berichtet. Hier erzielte die App mehr vollständig ausgefüllte Fragebögen im Vergleich zur Papierversion und signifikant mehr Dateneingaben als eine SMS. Hinsichtlich der Einhaltung des Stichprobenprotokolls sind Apps wahrscheinlich besser als das Papierformat aber ohne Unterschied zur SMS. Verschiedene Definitionen zur Akzeptanz der Befragten mit nicht eindeutigen Ergebnissen wurden identifiziert: Präferenz, Einfachheit der Benutzung und Bereitschaft, einen Abgabemodus zu verwenden; Zufriedenheit; Effektivität des Systems zur Bereitstellung von Informationen; wahrgenommene Dauer zur Fertigstellung des Fragebogens; wahrgenommener Nutzen der Art der Durchführung; wahrgenommene Zweckmäßigkeit der Art der Durchführung; wahrgenommene Fähigkeit den Selbstbeurteilungsfragebogen zu beantworten; maximale Dauer, die der Teilnehmer diese Art der Durchführung benutzen würde; Reaktionsfähigkeit der Art der Durchführung und erfolgreiche Einbindung der Art der Durchführung in den Alltag der Teilnehmer. Schlussendlich berichtete keine der eingeschlossenen Studien, unabhängig vom Setting, Informationen zu Datengenauigkeit und Antwortraten.
S. Schmidt, freigegeben durch Cochrane Deutschland.