Systematische Reviews der relevanten zuverlässigen Evidenz

Zu verlangen, dass wir die Ergebnisse einer bestimmten Studie vor dem Hintergrund anderer relevanter und zuverlässiger Erkenntnisse prüfen sollten, fällt zwar nicht schwer, doch stellt diese Forderung in vielfacher Hinsicht eine Herausforderung dar. Es ist wichtig, dass Reviews systematisch durchgeführt werden – die Menschen müssen sich auf sie verlassen können. Unsystematische Reviews sind anfälliger für Ergebnisverzerrungen und können uns in die Irre führen.

Auch wenn systematische Übersichtsarbeiten zu bestimmten Therapien anscheinend dieselbe Fragestellung untersuchen, können sie zu unterschiedlichen Schlussfolgerungen gelangen. Manchmal liegt das daran, dass die untersuchten Fragen sich geringfügig unterscheiden oder dass die Forscher unterschiedliche Methoden angewandt haben; und manchmal hat es damit zu tun, dass die Forscher die Ergebnisse nur aus einem für sie interessanten Blickwinkel betrachten. Deshalb ist es wichtig, Reviews zu identifizieren, in der die Therapien mit Fragestellungen untersucht werden, die jenen ähneln, für die wir selbst uns interessieren. Zugleich sollten die Reviews mit hoher Wahrscheinlichkeit so erstellt worden sein, dass sie die Auswirkungen von systematischen Fehlern und Zufallsfaktoren erfolgreich reduziert haben und somit ehrliche Schlussfolgerungen ermöglichen, in denen sich die dargestellten Ergebnisse (Evidenz) auch widerspiegeln.

Wie man Bias in systematischen Reviews reduziert

Genauso wie systematische Fehler die Ergebnisse einzelner Therapietests verzerren und zu falschen Schlussfolgerungen führen können, so können sie auch die Ergebnisse von Übersichtsarbeiten über die vorhandene Evidenz verzerren. Wissenschaftler könnten sich z. B. einfach diejenigen Studien «herauspicken», die ihre eigenen Behauptungen über die betreffende Therapie untermauern.

Um diesen Problemen vorzubeugen, sollten die Arbeitsschritte für systematische Reviews genauso wie bei wissenschaftlichen Studien in Forschungsprotokollen niedergelegt werden. In diesen Protokollen sollten die Wissenschaftler festlegen, welche Maßnahmen sie bei der Erstellung des Reviews zur Verminderung von systematischen Fehlern und Zufallseffekten ergreifen werden. Beispielsweise sollten sie u. a. angeben, mit welchen Fragen zur Therapie sich der Review befassen wird, und Kriterien festlegen, anhand derer über die Eignung von Studien für den Einschluss in den Review entschieden wird, wie potenziell geeignete Studien ermittelt werden sollen und welche Schritte unternommen werden, um bei der Auswahl der für den Review und die Datenanalyse geeigneten Studien systematische Fehler auf ein Minimum zu begrenzen.

Wie man die gesamte relevante Evidenz für systematische Reviews identifiziert

Die Identifizierung der gesamten relevanten Evidenz für einen systematischen Review – unabhängig von der Sprache oder vom Format der relevanten Studienberichte – stellt jedes Mal eine Herausforderung dar. Das liegt nicht zuletzt daran, dass manche relevanten wissenschaftlichen Daten mitunter gar nicht veröffentlicht werden. Dieses sogenannte «Underreporting» («Nichtpublizieren») ist hauptsächlich dadurch bedingt, dass Wissenschaftler ihre Ergebnisse nicht aufschreiben oder ihre Forschungsberichte nicht zur Veröffentlichung einreichen, wenn sie von den Ergebnissen enttäuscht sind. Und pharmazeutische Unternehmen unterdrücken Studien, in denen ihre Produkte keine günstige Beurteilung erhalten. Auch Fachzeitschriften zeigen sich dann als voreingenommen, wenn sie eingereichte Berichte ablehnen, weil sie deren Ergebnisse für nicht «aufsehenerregend» genug halten. [3]

Das auf Voreingenommenheit beruhende «Nichtpublizieren» von Forschungsergebnissen ist unwissenschaftlich und unethisch und inzwischen auch allgemein als ernst zu nehmendes Problem erkannt worden. Menschen, die versuchen, sich für eine von mehreren Therapiemöglichkeiten zu entscheiden, können dadurch, dass Studien mit «enttäuschenden» oder «negativen» Ergebnissen seltener zur Veröffentlichung kommen, in die Irre geführt werden. Dagegen ist bei Studien mit spektakulären Ergebnissen eher ein «Overreporting » («Mehrfachpublikation») zu beobachten.

Das Ausmaß von Underreporting ist erstaunlich: Mindestens die Hälfte aller klinischen Studien wird niemals oder unvollständig veröffentlicht. Dieses Nichtpublizieren von Forschungsergebnissen stellt eine Verzerrung dar und betrifft sowohl große als auch kleine klinische Studien. Um dieses Problem in den Griff zu bekommen, wurde u. a. vereinbart, dass Studien schon bei ihrem Beginn registriert werden und dass Wissenschaftler die Protokolle ihrer Studien veröffentlichen sollten. [3]

Ein durch Voreingenommenheit bedingtes Underreporting von Forschungsergebnissen kann sogar tödliche Folgen haben. Es ist einer Gruppe von britischen Forschern hoch anzurechnen, dass sie noch 1993 die Ergebnisse einer klinischen Studie veröffentlichten, die sie bereits 13 Jahre zuvor durchgeführt hatten. In dieser Studie war es um ein neues Medikament zur Verringerung von Herzrhythmusstörungen bei Herzinfarkt-Patienten gegangen. Neun Patienten waren nach der Einnahme des Medikaments verstorben, während in der Vergleichsgruppe nur ein Todesfall aufgetreten war. «Als wir unsere Studie 1980 durchführten», so schrieben die Wissenschaftler,

dachten wir, die erhöhte Sterblichkeitsrate in der Medikamentengruppe sei zufallsbedingt gewesen. … Die Entwicklung des Medikaments [Lorcainid] wurde aus wirtschaftlichen Gründen aufgegeben, weshalb diese Studie niemals veröffentlicht wurde; heutzutage stellt sie ein gutes Beispiel für einen «Publikationsbias» dar. Die hier beschriebenen Ergebnisse … hätten uns vielleicht frühzeitig vor den sich abzeichnenden Problemen warnen können. [4]

Mit den «sich abzeichnenden Problemen» meinten sie, dass ähnliche Medikamente wie das von ihnen getestete Präparat auf dem Höhepunkt ihrer Anwendung allein in den USA jedes Jahr zehntausende von vorzeitigen Todesfällen verursachten (s. Kap. 2, Medikamente zur Korrektur von Herzrhythmusstörungen bei Herzinfarkt-Patienten). [5]

Wie man in systematischen Reviews den Einfluss des Zufalls verringert

In Kapitel 7 (Wie man ausreichend große Teilnehmerzahlen für faire Therapietests gewinnt, Absatz 3 u. Absatz 4) haben wir dargelegt, wie der Einfluss des Zufalls verringert werden kann, indem man Daten aus ähnlichen, aber eigenständigen Studien in einer sogenannten «Meta-Analyse» zusammenfasst. Wir haben dazu das Beispiel von fünf Studien, die unabhängig voneinander in fünf verschiedenen Ländern organisiert und finanziert wurden, gewählt, um einem 60 Jahre alten Dilemma auf die Spur zu kommen. Es ging dabei um die Frage, wie hoch der Sauerstoffspiegel im Blut von Frühgeborenen sein muss, um die Wahrscheinlichkeit ihres Überlebens ohne größere Behinderungen zu maximieren. Dieses Beispiel zeigt auf, wie die Verringerung des Zufallsfaktors bereits vor der Verfügbarkeit der Studienergebnisse geplant werden konnte. Ein solches Vorgehen ist aber auch noch nach dem Abschluss einer Reihe von ähnlichen Studien möglich.

So erstellte beispielsweise 1974 ein schwedischer Arzt eine systematische Übersichtsarbeit von Studien, in denen die Ergebnisse von Brustkrebsoperationen mit bzw. ohne Strahlentherapie miteinander verglichen wurden. [6] Dabei stellte er fest, dass die strahlentherapeutisch behandelten Gruppen von Frauen in all diesen Studien eine höhere Sterblichkeitswahrscheinlichkeit aufwiesen. Als er die Gesamtheit der Ergebnisse mithilfe einer Meta-Analyse statistisch zusammenfasste, wurde klar, dass die übermäßige Sterblichkeit kaum zufallsbedingt sein konnte. Nachfolgende detailliertere Analysen, die auf den Daten von einzelnen Patientinnen beruhte, bestätigten, dass die in der damaligen Zeit angewandte Strahlentherapie die Sterblichkeit tatsächlich erhöhte. [7] Auf der Basis dieser Erkenntnis konnten sicherere Vorgehensweisen entwickelt werden.

Wie man in systematischen Reviews das Vorhandensein von persönlichen Interessen und Datenmanipulation erkennt

Was passiert, wenn Reviewautoren noch andere Interessen verfolgen, welche die Durchführung oder Auswertung ihres Reviews beeinflussen? Es kann z. B. vorkommen, dass die Reviewer von dem Unternehmen, das die Prüfung der neuen Therapie in Auftrag gegeben hat, finanziell unterstützt werden. Bei der Bewertung der Evidenz für die Wirksamkeit von Nachtkerzenöl bei Ekzemen fiel die Einschätzung der Reviewer, die Verbindungen zum Hersteller unterhielten, sehr viel enthusiastischer aus als bei den Reviewern ohne entsprechende kommerzielle Interessen (s. Kap. 2, Nachtkerzenöl bei Ekzemen). Aber nicht nur kommerzielle Interessen führen zu voreingenommenen Reviews. Wir alle haben Vorurteile, die uns voreingenommen machen – und zwar Forscher, Ärzte und Patienten gleichermaßen.

Diese Voreingenommenheit kann Wissenschaftler– häufig aus kommerziellen Gründen – dazu verleiten, vorhandene Erkenntnisse absichtlich zu ignorieren. Sie planen, analysieren und publizieren Forschungsarbeiten, um ihre eigenen Ergebnisse zu einer bestimmten Therapie in einem günstigen Licht erscheinen zu lassen. [8] Genau das passierte in den 1990er-Jahren, als der Hersteller des Antidepressivums Seroxat (Paroxetin) wichtige Daten zurückhielt, die darauf hinwiesen, dass das Medikament bei Jugendlichen die depressiven Symptome tatsächlich verstärkte, und einiger dieser jungen Patienten in der Folge einen Suizid als Ausweg aus ihrer Depression in Erwägung zogen. [9]

Ein weiteres Problem stellt das Overreporting dar. Bei dem als «Salamitaktik» bezeichneten Phänomen nehmen Wissenschaftler die Ergebnisse einer einzelnen Studie (der «Salami») und teilen die Ergebnisse in mehrere Berichte auf, ohne klarzustellen, dass es sich bei den einzelnen Berichten nicht um voneinander unabhängige Studien handelt. Auf diese Weise kann eine einzelne «positive» Studie in Fachzeitschriften und unterschiedlichen Artikeln mehrfach veröffentlicht und als mehrere Studien wahrgenommen werden, wodurch ein Bias entsteht. [10] Die Verwirrung, die ein solches Vorgehen stiften kann, lässt sich dadurch verringern, dass Studien bereits bei Studienbeginn in ein Register eingetragen werden und dabei eine Identifikationsnummer zugewiesen bekommen.