Studien: Wie verlässlich sind sie wirklich?

Studie ist nicht gleich Studie. Zum einen gibt es verschiedene Arten von Studien, die sich in ihrer Aussagekraft unterscheiden. Zum anderen können die Studien Mängel aufweisen, die ihre Zuverlässigkeit einschränken. Beides lässt sich an einem Beispiel verdeutlichen. Die folgende Studie ist frei erfunden:

Studien sollen uns helfen, unser Wissen zu erweitern und Fragen zu beantworten. Je nachdem, welche Art von Frage wir stellen, sind dafür unterschiedliche Ansätze erforderlich. Deshalb gibt es unterschiedliche Studientypen. Jeder Studientyp ist speziell darauf ausgerichtet, eine bestimmte Art von Fragestellung zu erforschen. Die Studientypen unterscheiden sich aber auch in ihrer Verlässlichkeit und Aussagekraft.

In der Medizin unterscheidet man zwischen Grundlagenforschung, klinischer Forschung und epidemiologischer Forschung.

Grundlagenforschung: Was wirkt wie und warum?

Am Anfang jedes medizinischen Fortschritts, z. B. der Entwicklung eines neuen Medikamentes, steht die Grundlagenforschung. Hier wird beispielsweise untersucht, wie Stoffe wirken, bestimmte Prozesse im Körper ablaufen oder wie Einflüsse aus der Umgebung auf den Körper wirken. Zur Grundlagenforschung gehören z. B. Tierversuche und Experimente mit Zellkulturen oder Computermodellen. Studien in der Grundlagenforschung haben oft eine hohe Aussagekraft, weil sie unter einheitlichen und kontrollierten Bedingungen durchgeführt werden. Dadurch sind die Ergebnisse sehr klar und zuverlässig. Allerdings ist es schwierig, diese Ergebnisse auf andere Gruppen oder Situationen zu übertragen. Ein Beispiel dafür sind Tierversuche: Die Ergebnisse aus solchen Studien lassen sich nicht eins zu eins auf den Menschen übertragen, da die Bedingungen zwischen dem Labor und der realen Welt sich unterscheiden, ebenso wie die Körper von Menschen und Tieren.

Beispiel: Das Mäuseexperiment von Professor G. Treide ist ein Tierversuch aus der Grundlagenforschung.

Klinische Forschung: Wirkt eine Behandlung?

In der klinischen Forschung werden vielversprechende Behandlungsmethoden aus der Grundlagenforschung am Menschen untersucht. Sie überprüfen, ob Behandlungen wirksam sind und ob sie mit Risiken verbunden sind, z. B. Nebenwirkungen. Man unterscheidet Beobachtungsstudien und Interventionsstudien.

In Beobachtungsstudien werden bestimmte Verhaltensweisen oder Umwelteinflüsse unter den Teilnehmenden erhoben und mit gesundheitlichen Ereignissen in Verbindung gebracht. Die Wissenschaftlerinnen und Wissenschaftler nehmen dabei eine beobachtende Rolle ein. Zum Beispiel:

Professor G. Treide untersucht in einer Gruppe von 100 Menschen, wie viele von ihnen in den letzten 12 Monaten an Demenz erkrankt sind. Dabei erfasst er, wie oft die Teilnehmenden seiner Studie Haferflocken essen und wie viele an Demenz erkranken. So möchte er herausfinden, ob Menschen, die häufiger Haferflocken essen, seltener an Demenz erkranken.

Bei Interventionsstudien greifen die Wissenschaftler aktiv ein, etwa indem sie eine bestimmte Behandlung verordnen. So werden z. B. neue Medikamente oder Operationsverfahren, Schulungen oder Diäten getestet. Typische Interventionsstudien sind randomisierte kontrollierte Studien (RCTs).

Bei einer RCT werden die Studienteilnehmenden nach dem Zufallsprinzip (randomisiert) in zwei oder mehr Behandlungsgruppen eingeteilt. Die zufällige Verteilung soll sicherstellen, dass bestimmte Merkmale der Teilnehmenden gleichmäßig verteilt sind, z. B. Geschlecht, Alter oder Vorerkrankungen. So wird verhindert, dass einer Gruppe etwa jüngere und gesündere Menschen zugewiesen werden als der anderen. Wenn die Merkmale nicht gleichmäßig verteilt sind, könnte dies die Ergebnisse der Studie verzerren.

Eine der Gruppen dient immer als Kontrolle. Diese Kontrollgruppe bekommt entweder keine Behandlung oder eine Standardbehandlung, z. B. mit einem Medikament, das schon zugelassen ist. Sie dient als Vergleich, um zu prüfen, ob und wie viel besser die neue Behandlung tatsächlich ist.

RCTs gelten als der Goldstandard bei der Testung neuer Medikamente und bilden die Grundlage für die Zulassung bei den Behörden.

Beispiel: Professor G. Treide will in einer RCT untersuchen, ob Haferflocken Demenz bei Menschen vorbeugen können. Dafür teilt er Versuchspersonen per Los in zwei Gruppen ein. Die eine Gruppe soll jeden Morgen eine Portion Haferflocken essen. Die andere Gruppe sollte sich wie gewohnt weiter ernähren. Alle Probanden und Probandinnen machen zu Beginn der Studie einen Test, um ihre Denk- und Merkfähigkeiten zu testen. Nach sechs Monaten wird der Test wiederholt, um zu prüfen, ob sich die Fähigkeiten verbessert oder verschlechtert haben.

Epidemiologische Forschung: Wie verbreiten sich Krankheiten in der Bevölkerung?

Die Epidemiologie beschäftigt sich mit der Verbreitung und den Ursachen von Krankheiten in der Bevölkerung. Drei häufige Arten von Studien in der Epidemiologie sind:

Sekundärforschung: Studien über Studien

In der medizinischen Forschung gibt es oft mehrere Studien, die sich mit der gleichen oder ähnlichen Frage beschäftigen, z. B. ob Haferflocken vor Demenz schützen. Nicht immer kommen sie zu demselben Schluss: Manche finden heraus, dass Haferflocken vor Demenz schützen, während andere keine Schutzwirkung feststellen. Die Ursachen dafür können unterschiedlich sein. So ist es möglich, dass eine der Studien eine viel zu kleine Anzahl an Teilnehmenden hat. Wie aber lässt sich nun herausfinden, welche Studie richtig liegt? Hier kommen sogenannte systematische Übersichtsarbeiten und Meta-Analysen ins Spiel. Systematische Übersichtsarbeiten sind Literaturübersichten, die zu einem bestimmten Thema alles verfügbare Wissen aus Studien sammeln, zusammenfassen und kritisch bewerten. Zur Erstellung solcher Übersichtsarbeiten gibt es festgelegte methodische Vorgehensweisen. Wenn die Ergebnisse der Einzelstudien dann auch zusammengefasst werden, nennt man das Meta-Analyse.

Beispiel: Professor G. Treide sammelt alle Studien, die untersucht haben, ob Haferflocken vor Demenz schützen. Er schaut sich jede einzelne Studie an, fasst die Ergebnisse zusammen und bewertet das Vorgehen der Autoren kritisch. Am Ende kommt er dann zu einem Fazit: Können Haferflocken Demenz vorbeugen oder nicht?

Nicht nur die Wahl des Studientyps entscheidet über die Verlässlichkeit einer Studie: Wichtig ist auch, dass die Wissenschaftler und Wissenschaftlerinnen ordentlich gearbeitet und sich konsequent an ihren Plan gehalten haben. Wirft man einen Blick auf die persönlichen Notizen von Professor G. Treide, findet man Folgendes heraus:

Der Professor schreibt, er habe das Experiment an zwei Gruppen von Mäusen durchgeführt. Allerdings bestand jede Gruppe nur aus jeweils einem Tier: einer Feldmaus, die der Professor beim Spaziergang gefunden, und einer Ratte, die er zu Hause gefangen hat. Dadurch wird die Studie wenig aussagekräftig: zum einen, weil das Versuchstier und das Kontrolltier zwei verschiedenen Arten angehörten. Zum anderen, weil zwei Tiere auch viel zu wenig sind, um eine allgemeine Schlussfolgerung für alle Mäuse oder Ratten zu ziehen.

Studien können Fehler oder Schwächen haben. Das kann an Fehlern im Studienaufbau, in der Datenerhebung oder Datenauswertung liegen. Solche Schwächen nennt man methodische Mängel. Derartige Mängel verringern die Zuverlässigkeit einer Studie. Manche Studien berichten offen über ihre Mängel und den möglichen Einfluss auf die Ergebnisse, aber nicht alle.

Interessenkonflikte

Die Firma „Flotte Flöckchen“ kontaktiert Professor G. Treide: Sie möchte eine Studie bei ihm in Auftrag geben, die untersuchen soll, ob Haferflocken vor Demenz schützen. Der Professor freut sich natürlich über das Geld und macht sich gleich an die Arbeit.

Möglicherweise hat Professor G. Treide sich mit diesem Auftrag in einen Interessenkonflikt begeben: Einerseits möchte er sich als Wissenschaftler an alle Grundsätze guter Forschungsarbeit halten. Andererseits erhofft sich die Firma natürlich, dass die Studie eine Schutzwirkung von Haferflocken belegt, damit sie damit werben kann. Und der Professor möchte die Firma gerne zufriedenstellen, weil er viel Geld für die Studie bekommt – und vielleicht in Zukunft noch mehr. Kann der Professor unter diesen Umständen noch neutral bleiben? Oder besteht das Risiko, dass er seine eigene Studie bewusst oder unbewusst so manipuliert, dass das gewünschte Ergebnis dabei herauskommt?

Interessenkonflikte können dazu führen, dass Entscheidungen nicht mehr im besten Interesse der ursprünglichen Aufgabe getroffen werden. Interessenkonflikte entfalten ihre Wirkung auf das Urteilsvermögen weitgehend unbewusst. Es handelt sich also nicht automatisch um ein bewusstes Fehlverhalten oder eine Charakterschwäche.

Forschende sind dazu angehalten, mögliche Interessenkonflikte offenzulegen. Weiterhin sollen unbeteiligte Personen einschätzen, wie stark das Risiko einer Beeinflussung tatsächlich ist. Interessenkonflikte lassen sich erst dann verringern oder vermeiden, wenn man entsprechende Konsequenzen daraus zieht.

Zu wenige Teilnehmende

Studien untersuchen nie die gesamte Bevölkerung oder alle Betroffenen einer Erkrankung, sondern immer nur einen Teil davon. Dieser untersuchte Teil wird auch als Stichprobe bezeichnet. Je größer die Stichprobe, desto genauer können die Ergebnisse einer Studie ausfallen. Im Haferflockenbeispiel beträgt die Stichprobengröße 2 (wenn man die Ratte als Maus zählen würde). Eine so kleine Stichprobe führt eher zu ungenauen Ergebnissen.

Messfehler

Wenn bei einer Studie die Messinstrumente und auch die Auswertungsmethoden nicht geeignet sind, um die Fragestellung zu untersuchen, kann das ebenfalls zu falschen Ergebnissen führen.

Professor G. Treide will in seiner Fall-Kontroll-Studie ermitteln, wie viele Haferflocken Menschen mit oder ohne Demenz essen. Dazu fragt er: „Wie viele Haferflocken essen Sie?“ Diese Frage ist aber zu ungenau. Beispielsweise antwortet ein Teilnehmer darauf mit „zwei“. Das kann vieles bedeuten:

• Der Teilnehmer isst zwei Haferflocken pro Tag.
• Der Teilnehmer isst zwei Schalen Haferflocken pro Tag.
• Der Teilnehmer isst zwei Packungen Haferflocken pro Tag.
• Usw.

Ungleiche Gruppen

Bei Studien, in denen Gruppen miteinander verglichen werden, sollten die Gruppen sich möglichst ähnlich sein. So sollten z. B. alte und junge, kranke und gesunde Menschen oder Männer und Frauen möglichst in einem ausgewogenen Verhältnis zueinander stehen.

Professor G. Treide testet in einem RCT, ob Haferflocken Demenz vorbeugen. Dabei erhält eine Testgruppe täglich eine Portion Haferflocken zum Frühstück, während die andere weiterhin ihr gewohntes Frühstück isst. Nach sechs Monaten zeigt sich, dass die geistige Leistungsfähigkeit der Haferflockengruppe höher ist als in der anderen Gruppe. Ein genauer Blick auf die Gruppen zeigt jedoch: Die Teilnehmenden in der Haferflockengruppe waren im Durchschnitt 15 Jahre jünger als die der Kontrollgruppe. Die Leistungsverbesserung lässt sich also nicht nur durch die Haferflocken erklären, sondern auch durch ein jüngeres Lebensalter.

In RCTs versucht man, eine möglichst gleiche Verteilung der Gruppen zu erreichen, indem man die Teilnehmenden per Los einer Gruppe zuteilt.

Keine Vergleichsgruppe

Für manche Studienaussagen ist eine Vergleichsgruppe unverzichtbar. Sie hilft zu erkennen, ob eine bestimmte Behandlung oder Maßnahme tatsächlich wirkt. Wenn in einer Studie zum Beispiel ein Medikament getestet wird, aber keine Gruppe ohne Behandlung mit diesem Medikament vorhanden ist, kann man nicht sagen, ob die Wirkung vom Medikament ausgeht oder ob sie nur zufällig aufgetreten ist.

Um überhaupt in einer Fachzeitschrift veröffentlicht zu werden, müssen Studien hohe Anforderungen erfüllen. Dennoch erscheinen immer wieder auch Studien, die nicht den höchsten Standards entsprechen. Dafür gibt es verschiedene Gründe. Hier werden einige Beispiele dafür genannt.

Druck zur Publikation

Für beruflichen Erfolg müssen Wissenschaftler und Wissenschaftlerinnen möglichst viele Studien veröffentlichen. So kann es vorkommen, dass Manuskripte, die bei etablierten Fachzeitschriften abgelehnt worden sind, bei anderen Verlagen, deren Anforderungen an eine Publikation wesentlich geringer sind, erneut eingereicht und hier veröffentlicht werden. Solche Verlage arbeiten häufig gewinnorientiert und verlangen Gebühren für die Veröffentlichung. Die Höhe der Gebühren entscheidet darüber, wie schnell Artikel erscheinen. Dabei werden ethische Standards und Prüfverfahren umgangen.

Finanzielle Interessen

Unternehmen oder Organisationen, die Studien finanzieren, könnten versuchen, deren Ergebnisse zu beeinflussen, oder Studien fördern, die ihren eigenen Interessen dienen. Wissenschaftliche Standards spielen dann eine untergeordnete Rolle.

Mangelnde Prüfung durch Fachleute

Vor der Veröffentlichung lassen renommierte Fachzeitschriften eine Studie von unabhängigen Expertinnen und Experten prüfen. Diese sollen kontrollieren, ob die Studie richtig durchgeführt wurde und die Darstellung der Ergebnisse korrekt sind, bevor die Arbeit veröffentlicht wird. Dies nennt man Peer-Review-Verfahren. 

Allerdings ist auch dieses Verfahren nicht fehlerfrei. Es kann passieren, dass Studien durch den Überprüfungsprozess kommen, obwohl sie Fehler enthalten oder schlecht gemacht sind. Auch der umgekehrte Fall kann eintreten. Diese Fehler passieren, wenn etwa die Fachleute, die die Studie prüfen, nicht ausreichend Fachwissen haben oder sich nicht einig sind. 

Fehlende Transparenz

Wenn Forscherinnen und Forscher ihre Methoden, Datensätze oder Analysen gar nicht oder nicht vollständig offenlegen, wird es schwierig, die Qualität ihrer Studien nachzuvollziehen. Schlechte Forschungspraktiken, wie z. B. Datenmanipulation, lassen sich so nicht erkennen. Das kann dazu führen, dass Studien trotz methodischer Mängel veröffentlicht werden.