Mehr Scheitern wagen!

Um die biomedizinische Forschung aus ihrer Krise zu holen, braucht es einen massiven Kulturwandel. Ein Kommentar des Berliner Schlaganfallforschers Ulrich Dirnagl

 

„Wissenschaftliche Entdeckungen in der Biomedizin sind mittlerweile ein langweiliges Ärgernis.” So formuliert es John Ioannidis, Epidemiologe, Agent Provocateur und einer der am häufigsten zitierten Wissenschaftler der Biomedizin. Bereits vor gut zehn Jahren behauptete er, die Mehrzahl der publizierten Ergebnisse in der Biomedizin sei wahrscheinlich falsch. Seine Begründung: Sehr viel Bias, also Wunschdenken, im Verbund mit schlechter Methodik und Interessenkonflikten verfälsche die Ergebnisse. Dazu komme noch niedrige statistische Power durch zu geringe Fallzahlen in den Studien. All das führe zu falsch positiven Ergebnissen und übertriebenen Effekten. Die Arbeit von Ioannidis ist mittlerweile die am häufigsten zitierte biomedizinische Publikation der letzten Dekade.

Man könnte Ioannidis’ Behauptung ungläubig abtun, wären da nicht zwei Probleme, die seit einigen Jahren nicht nur die Fachwelt, sondern mittlerweile auch die breitere Öffentlichkeit und die Fördergeber beunruhigen. Das erste ist die ausgesprochen geringe Erfolgsrate bei der Übertragung von Ergebnissen der Grundlagenforschung in neue, effektive Therapien. Das zweite die erst vor Kurzem in vielen Disziplinen diagnostizierte Replikationskrise: Die meisten der oft spektakulären Erfolge bei der experimentellen Behandlung von Modellerkrankungen und in kleinen Studien am Menschen (sogenannte Phase-II-Studien) lassen sich nicht wiederholen.

Mich haben diese Probleme aufgeschreckt und in meiner wissenschaftlichen Arbeit in eine Krise gestürzt. Als translationaler Schlaganfallforscher strebe ich danach, grundlegende Krankheitsmechanismen besser zu verstehen, um neue Therapien zu entwickeln. Das Ziel dabei ist, Patienten mit Schlaganfall zu helfen, diese dramatische Erkrankung besser zu überstehen. In zahlreichen unserer Publikationen und Schlaganfallmodellen sind wir – und damit meine ich auch meine Tausenden von Wissenschaftlerkollegen, die den Schlaganfall weltweit beforschen – auf wundersame Weise in der Lage zu therapieren. Doch keiner dieser Befunde übersteht erfolgreich die Überprüfung in großen Studien am Patienten. Abgesehen davon, dass keiner unserer Befunde systematisch repliziert wird. Wir hasten von einem spektakulären experimentellen Befund zum nächsten. Für das Nachprüfen von Studien gibt es in dieser Wissenschaft nicht einmal Fleißpunkte! Und dort, wo doch mal etwas nachgekocht wird, funktioniert es meist nicht. Aber das wird höchstens abends beim Bier besprochen, veröffentlicht wird es nicht.

John Ioannidis hat vor Kurzem nahezu 13 Millionen auf PubMed Central verfügbare biomedizinische Arbeiten der letzten 25 Jahre daraufhin untersucht, wie viele davon ein „statistisch signifikantes Ergebnis” berichten – also die untersuchten Hypothesen bestätigen. Das unglaubliche Resultat: 96 Prozent! Ist es wirklich so, dass die Befunde richtig sind und die Hypothesen fast immer bestätigen, die die Wissenschaftler formulieren? Das hieße nichts anderes, als dass diese langweilige Forschung machen und an trivialen Sachverhalten forschen. Das wiederum käme einer massiven Ressourcenverschwendung gleich. Viel wahrscheinlicher ist jedoch, dass die Ergebnisse dieser Studien häufig, wenn nicht sogar in den überwiegenden Fällen, in Wirklichkeit falsch positiv im Sinne von Ioannidis sind.

Was tun? Zunächst müssen wir für aussagekräftigere Ergebnisse sorgen. Wir brauchen weniger Bias, das heißt eine verbesserte Studienmethodik. Was in klinischen Studien Standard ist, muss auch für experimentelle Untersuchungen gelten: Randomisierung, Verblindung, Angabe von Ein- und Ausschlusskriterien sowie von klaren Hypothesen und geplanten statistischen Verfahren vor Studienbeginn. Zweitens brauchen wir eine Erhöhung der statistischen Power. In meinem Forschungsfeld, und das ist kein Scherz, ist diese bei experimentellen Studien nicht einmal so hoch wie die eines Münzwurfs. In anderen Feldern ist sie sogar noch niedriger.

Wenn wir auf diese Weise die Qualität unserer Forschung erhöhen, wird das dazu führen, dass viel mehr Studien ihre Hypothesen nicht bestätigen oder die Wirksamkeit eines Therapeutikums nicht nachweisen werden. Nach gegenwärtigem Verständnis werden sie also scheitern: Die Ergebnisse werden weniger spektakulär und weniger eindeutig als bislang ausfallen. Aber das ist gut so, weil es die Biologie widerspiegelt. Wichtig ist, dass wir diese „negativen” Befunde dann auch genauso veröffentlichen wie die gelungenen. Auch gescheiterte Replikationen von wichtigen eigenen Befunden oder denen anderer Wissenschaftler dürfen wir nicht länger nur untereinander beim Bier besprechen. Wir müssen mehr Scheitern wagen!

Nur wird sich diese Forderung leider zurzeit nicht durchsetzen lassen. Denn für die Karrieren von Wissenschaftlern ist nicht die Qualität ihrer wissenschaftlichen Arbeit ausschlaggebend, sondern vor allem die Zahl ihrer Publikationen in Journalen mit hohem „Impact Factor” – also solchen mit hoher Zitationsrate – wie Cell, Nature und Science. Und diese sind auf spektakuläre Storys aus.

Für aussagekräftige Ergebnisse müssen wir also zunächst unser Belohnungssystem in der Wissenschaft reformieren. Bei der Vergabe von Stellen, Professuren und Forschungsanträgen wäre dann nicht nur auf spektakuläre Storys in Journalen mit hohem Impact-Faktor zu achten. Vielmehr sollten auch die Qualitätsmerkmale der Forschung eine wichtigere Rolle spielen, etwa ob ein Kandidat oder eine Kandidatin auch negative und neutrale Ergebnisse veröffentlicht hat, ob sie Originaldaten in den Veröffentlichungen zur Verfügung stellen usw. Das klingt einfach, erfordert aber einen massiven Kulturwandel. Vermutlich geht das nur auf Druck von Universitäten und Fördergebern.

In den USA sind sie da schon einen Schritt weiter. Die National Institutes of Health verändern ihre Förderrichtlinien und Vergabekriterien bereits massiv in diese Richtung. Für eine Förderung ist dort die Einhaltung einer Reihe von qualitätsfördernden Maßnahmen Voraussetzung – zum Beispiel Verblindung, Randomisierung oder die Veröffentlichung auch von negativen Daten. Am Ende der Förderung wird deren Einhaltung überprüft. Auch beginnt man, geförderte Grundlagenforschung zu auditieren, das heißt sich vor Ort in den Laboren über die Durchführung der Experimente zu informieren.

Mir macht das Hoffnung, denn wir können davon viel lernen. Und selbst Skeptiker, die am hiesigen System nichts ändern wollen, werden hellhörig, wenn sich im amerikanischen Wissenschaftssystem etwas bewegt. Der Ball liegt im Spielfeld der akademischen Institutionen und Fördergeber!

Ulrich Dirnaglist Direktor der Abteilung für Experimentelle Neurologie an der Charité sowie des „Centrums für Schlaganfallforschung Berlin”. Er erforscht Schadensmechanismen und körpereigene Schutzreaktionen nach dem Schlaganfall und setzt sich für eine Verbesserung präklinischer Forschung ein. Hierzu führt er Forschungsprojekte durch und etabliert und testet strukturierte Qualitätsmaßnahmen im Labor.

 

Für den 2021 erstmalig ausgerufenen Einstein Foundation Award zur Förderung der Qualität in der Forschung übernimmt Ulrich Dirnagl den Vorsitz.

Text: Ulrich Dirnagl