Wer wissenschaftlich seriös erscheinen will, argumentiert mit Studienergebnissen. Oft bleibt es leider bei der reinen Behauptung „Studien haben ergeben…“. Um die Plausibilität dieser Studien zu beurteilen, braucht es zwar tiefes Fachwissen, jedoch kann man sich schon anhand von einigen Rahmen-Parametern ein Bild darüber verschaffen, ob es sich um echte Forschungsergebnisse oder um Aufmerksamkeitsheischerei handelt.
Studien sind verschriftlichte Forschungsberichte zu einem bestimmten Thema. Sie erscheinen als Publikationen in wissenschaftlichen Fachjournalen wie z. B. Science, Nature oder The Lancet. Für jeden wissenschaftlichen Bereich gibt es Hunderte von Fachzeitschriften. Nicht in allen wissenschaftlichen Bereichen wird explizit der Begriff „Studie“ verwendet. Speziell in den Naturwissenschaften spricht man eher von Publikationen. Trotzdem wird im Folgenden der Einfachheit halber der Begriff Studie verwendet, auch wenn nicht immer von Fallstudien die Rede ist. Eine Studie ist immer ein kleiner, aber sehr detaillierter Beitrag zu einer konkreten Fragestellung. Große Zusammenhänge wie z. B. der menschengemachte Klimawandel werden keinesfalls in einer einzigen Studie betrachtet. Die Forschungsergebnisse zu solch umfassenden Themen setzen sich wie ein Puzzle aus unzähligen Studien zu einem Gesamtbild zusammen.
Von der Forschung bis zur Veröffentlichung
Forschung findet in Deutschland nicht nur an den Universitäten, sondern auch an (staatlich geförderten) Instituten wie z. B. den Fraunhofer-Instituten oder den Max-Planck-Instituten statt. Ein relevanter Teil der Forschung wird auch direkt von der Industrie betrieben.
Wer seine Forschungsergebnisse veröffentlichen will, muss sich an eine Fachzeitschrift, ein sog. Journal wenden und seine fertige Studie dort einreichen. Passt das Thema und sind die Ergebnisse auf den ersten Blick plausibel und ausreichend, wird die Studie angenommen. Es ist aber auch möglich, dass sie abgelehnt wird.
Hat das Journal Interesse an einer Publikation, beginnt die Begutachtungsphase, das Peer-Review-Verfahren. Als GutachterInnen werden mehrere ExpertInnen eingesetzt, die zu sehr ähnlichen Forschungsgebieten forschen und sich mit den Mess- und Analysenmethoden sehr gut auskennen. Sie prüfen die Studie auf inhaltliche und formale Fehler und geben dann anonym Rückmeldung, was evtl. verbessert oder nochmals überprüft werden muss. Das Review-Verfahren kann mehrere Durchläufe umfassen und wird erst beendet, wenn die externen GutachterInnen keine Fehler mehr beanstanden. Dann wird die Studie von der Zeitschrift akzeptiert und veröffentlicht. Sie erscheint als Publikation, auch Paper genannt, im Print- und/oder Online-Format.
Studien sind also immer öffentlich zugänglich. Über die Suchmaschine https://scholar.google.de/ oder über Portale wie https://www.researchgate.net/ oder https://pubmed.ncbi.nlm.nih.gov/ (für medizinische oder pharmazeutische Forschungsbereiche) hat jedeR Zugang zu den begutachteten Publikationen. Manchmal ist der Zugang zur kompletten Studie jedoch kostenpflichtig, während die Zusammenfassung, der sog Abstract, immer kostenfrei lesbar ist. Weil das Begutachtungsverfahren mehrere Wochen bis Monate dauern kann und in populären Forschungsbereichen hoher Konkurrenzdruck herrscht, ist es dort üblich, die Ergebnisse schon vor Abschluss des Verfahrens auf sog. Pre-Print-Servern zu veröffentlichen. Wie der Name schon sagt, handelt es sich aber um nicht offiziell veröffentlichte Ergebnisse, von denen man nicht einmal weiß, ob sie überhaupt jemals veröffentlicht werden. Diese Pre-Prints sind zur Einsicht für KollegInnen bestimmt, und für fachfremde Leserschaft ungeeignet. Es ist nicht anzuraten, diese Informationen zu Handlungsempfehlungen oder Argumentationshilfen heranzuziehen.
Wie ist eine Studie aufgebaut?
An eine wissenschaftliche Publikation werden hohe Qualitätsanforderungen gestellt. Ob diese immer erfüllt sind, ist für Laien nicht zu beurteilen. Jedoch kann man sich anhand des Aufbaus einer Studie einen Eindruck verschaffen, ob die übliche Form eingehalten wurde.
Nach dem Titel werden die AutorInnen mit Angabe der Forschungseinrichtungen und Kontaktdaten aufgelistet. Hier werden alle beteiligten Personen aufgeführt, die zur Studie beigetragen haben. Im Abstract zur Publikation werden die Ergebnisse in wenigen Sätzen zusammengefasst, damit LeserInnen zu Beginn wissen, ob die Studie für sie relevant ist.
Im ersten Abschnitt der eigentlichen Publikation, der Einleitung, wird das Thema vorgestellt und der Forschungsbeitrag in die bisherigen Erkenntnisse eingeordnet.
Im zweiten Abschnitt werden dann die Ergebnisse präsentiert und im dritten Abschnitt schließlich ausführlich diskutiert. Die Ergebnisse werden übersichtlich in Tabellen und Abbildungen dargestellt, um den Überblick über meist große Datenmengen zu erleichtern. In der Diskussion setzen sich die AutorInnen kritisch mit den Ergebnissen auseinander, weisen auch auf Widersprüche und Limitationen hin.
Anschließend wird im Experimentellen Teil oder Methodenteil beschrieben, welche Mess- oder Rechenmethoden angewendet wurden, je nach Thema ist auch eine Fehlerbetrachtung nötig. Hier wird sehr transparent Auskunft über alle verwendeten Hilfsmittel, auch über verwendete Computersoftware gegeben. Damit ist sichergestellt, dass die erhaltenen Ergebnisse auch von anderen reproduziert werden können.
Im letzten Teil einer Publikation werden Schlussfolgerungen gezogen. Oft wird hier auch ein Ausblick in laufende oder zukünftige Forschungsarbeiten formuliert.
Am Ende der Studie stehen oft Danksagungen oder Hinweise auf Interessenskonflikte und schließlich die meist sehr lange Literaturliste, eine Aufzählung von anderen Forschungsarbeiten, die für die eigene Arbeit grundlegend sind oder aus denen zitiert wurde. Die Literaturliste umfasst nicht selten mehr als hundert Verweise. Alle sind durch hochgestellt Nummern im Text gekennzeichnet, damit nachvollzogen werden kann, warum die jeweiligen Literaturstellen angegeben wurden.
Der Versuch einer Qualitätsbeurteilung
Eine Studie nach ihren formalen Kriterien zu beurteilen, kann eigentlich jeder. Schwieriger ist die Beurteilung der Qualität. Das obliegt eigentlich nur Fachleuten. Trotzdem gibt es Kennzahlen und einige Fachbegriffe, die zumindest Orientierung geben können.
Eine bekannte, aber oft falsch verwendete Kennzahl ist der sog. Impact-Faktor. Er berechnet sich aus der Anzahl der Zitate auf Publikationen eines Journals im Verhältnis zur Gesamtzahl der erschienenen Publikationen im selben Zeitraum. Der Impact-Faktor wird oft als Qualitätsmerkmal getreu dem Motto „viel zitiert heißt heiß geliebt“ benutzt, was zu Missverständnissen führt. Zum einen bezieht sich der Faktor auf eine Fachzeitschrift und nicht auf Personen und zum anderen lässt er keine Vergleiche zwischen den Fachgebieten zu. In populären Wissenschaftszweigen wie z. B. der Krebsforschung wird um ein Vielfaches mehr publiziert als beispielsweise in experimenteller Astrophysik.
Eine weitere Kennzahl ist der Hirsch-Index, der personenbezogen berechnet wird. Er beschreibt, wie häufig ein Wissenschaftler oder eine Wissenschaftlerin zitiert werden. Auch dieser Zitationsindex ist stark von der Popularität eines Forschungsgebietes und vom Renommee der Forschenden abhängig.
Studien aus der medizinischen oder pharmazeutischen Forschung
Medizinische oder pharmazeutische Forschung beschäftigt sich oft mit der Entstehung von Krankheiten und der Wirksamkeit von Heilmitteln. Um das zu untersuchen, kann man Beobachtungsstudien oder Interventionsstudien durchführen. Beobachtungsstudien können z. B. als Kohortenstudien vorgenommen werden. Z. B. kann das Auftreten einer Krankheit oder die Ermittlung eines Risikofaktors im zeitlichen Verlauf durch Beobachtung einer Gruppe von Versuchspersonen ermittelt werden. Diese Studien werden fast immer begleitend, selten auch rückblickend durchgeführt. Fall-Kontroll-Studien hingegen ziehen meist retrospektive Vergleiche. Zu jedem (Krankheits-) Fall existiert ein gesunder Kontrollfall, das Auftreten der Krankheit wird dann durch Vergleich erforscht.
Interventionsstudien sind Studien, bei der Wirkstoffe oder therapeutische Maßnahmen verordnet werden. Im Idealfall gibt es auch hier eine Kontrollgruppe, die ein Placebo erhält. Das Studiendesign ist sinnvollerweise doppelt verblindet, d. h. weder die Behandelnden noch die StudienteilnehmerInnen wissen, ob sie der Fall- oder der Kontrollgruppe angehören. Die Zuordnung zu einer der beiden Gruppen sollte nach dem Zufallsprinzip, d. h. randomisiert erfolgen.
Schwächen klinischer Studien
Schwierigkeiten in klinischen Studien ergeben sich oft aus der Gruppengröße, die der Untersuchung zugrunde liegt. Wird beispielsweise durch eine Interventionsstudie untersucht, ob ein neues Medikament gegen Bluthochdruck wirksam ist, so wird für den reinen Test der Wirkung eine kleinere Personengruppe genügen, weil der Effekt in zeitlich überschaubarem Rahmen und eindeutig messbar ist. Wird jedoch die Wirksamkeit von täglichem Meditieren auf den Blutdruck untersucht, ist der Effekt schwächer. Deshalb muss auch die Personengruppe vergrößert werden, um sichere Aussagen über die Wirksamkeit treffen zu können. Ein Qualitätsmerkmal von Studien im medizinisch-pharmazeutischen Bereich ist das ausgewogene Verhältnis von Gruppengröße und Effektstärke der Intervention.
Ein weiteres wichtiges Qualitätsmerkmal ist der Ausschluss von Störfaktoren, die z. B. die Messung der Wirksamkeit beeinflussen. In der oben genannten Studie zur Wirksamkeit eines Blutdrucksenkers, würde das Messergebnis verfälscht werden, wenn in der Testgruppe mehr RaucherInnen wären als in der Kontrollgruppe. Die Vermeidung von solchen Confoundern klingt in diesem Beispiel banal, manchmal kennt man aber noch gar nicht alle Risikofaktoren und kann nicht auf den ersten Blick abschätzen, ob man eine unentdeckte Verzerrung oder einen tatsächlichen Effekt beobachtet.
Tatsächlich ist es leider so, dass Forschung lange dauert und sehr kleinteilig arbeitet. Bahnbrechende Erkenntnisse ergeben sich sehr selten aus einzelnen Studien. Es ist eher so, dass eine Vielzahl von Untersuchungen mit der Zeit erst eine echte Sicherheit bringt.
Literatur:
- W. Stock, The inflation of impact factors of scientific journals, Chem Phys Chem. 10 (13): 2193-2196, 2009.
- M. Schumacher, G. Schulgen, Methodik klinischer Studien. Methodische Grundlagen der Planung, Durchführung und Auswertung. 3. Auflage. Springer-Verlag, Berlin, Heidelberg 2009.
- R. Müller-Waldeck, Confounding – und wie man damit umgeht, Ärztl. Journal, Serie: Studien verstehen Teil 3, 2019.
Consider Science 