Eine Antwort auf die Replikationskrise in der Psychologie ist Open Science. Eine weitere findet sich in der sog. Metawissenschaft, die seither systematischer zu Rate gezogen wird, um über Wissenschaft zu reflektieren. Metawissenschaftliche Ansätze tauchen vermehrt auch in der Psychologie auf – ist damit eine weitere Lösung für die Replikationskrise gefunden?
W ie Wissenschaften sich entwickeln, analysierte Friedrich Kuhn (1962) in seinem bekannten Werk «Die Struktur wissenschaftlicher Revolutionen». Kuhn führte verschiedene Stufen ein, in der sich Wissenschaft befinden kann. Von einer prä-wissenschaftlichen Phase, über die sogenannte Normalwissenschaft, eine kriselnde Phase, hin zum Paradigmenwechsel und einer post-revolutionären Phase führt Kuhn durch die evolutionären Schritte von Wissenschaft. Wissenschaft nach Kuhn lernt durch Revolution, in der sich Paradigmen abwechseln. Eine weitere Erklärung dazu, wie Wissenschaften «lernen» liefert Stephen Cole (1983), der die Struktur von wissenschaftlichem Wissen als Trichter beschreibt. Am oberen Ende des Trichters steht frisch veröffentlichte Forschung, die dann über Jahre durch den Trichter, der den wissenschaftlichen Evaluationsprozess darstellt, wandert, um schliesslich am unteren Trichterende anzukommen. Wenn Forschung den Trichter von Cole durchlaufen hat und bis dorthin über jahre-, manchmal jahrzehntelange Diskussionen in Fachkreisen Kritik standgehalten hat, wird sie zum Kernbestand des Wissens in einem Fachbereich und damit regelmässig in Lehrbüchern zitiert sowie in zukünftige Forschung eingearbeitet. Kuhn und Cole beschreiben wissenschaftliches Lernen also als konsekutiven Prozess, in dem ein Schritt auf den anderen folgt, der letztendlich im besten Falle zu einem Zuwachs an Wissen und damit näher an «die» Wahrheit heranführt.
«It is simply a sad fact that in soft psychology theories rise and decline, come and go, (…) and the enterprise shows a disturbing absence of that cumulative character that is so impressive in disciplines like astronomy, molecular biology, and genetics.»
Klappt das mit dem Lernen in psychologischer Wissenschaft?
In der wissenschaftlichen Psychologie gibt es Forscher*innen, die bezweifeln, dass die wissenschaftliche Psychologie tatsächlich Wissen anhäuft und nicht nur viel zu viele zu zerstückelte Informationen zusammenträgt. Allen Newell (1973), ein Pionier der Kognitionsforschung, sagte einmal: «I am a man who is half and half. Half of me is half distressed and half confused. Half of me is quite content and clear on where we are going. (…) Suppose you had all those additional papers, just like those of today (…), where will psychology then be? Will we have achieved a science of man adequate in power and commensurate with his complexity?». Der Kontext seines Zitats war eine Konferenz zu den relevantesten wissenschaftlichen Erkenntnissen der Kognitionspsychologie im Jahr 1973. Newell zerbrach sich in seiner Einführung zu den Ergebnissen im Ergebniskatalog der Konferenz den Kopf darüber, wie diese zahlreichen und sehr unterschiedlichen Forschungsergebnisse ein vollständiges Bild einer in sich «ganzen», kohärenten Psychologie ergeben sollten. Dieses Kopfzerbrechen gibt es heute immer noch. Fünfzig Jahre nach Newells Kommentar wurde die Psychologie durch die Replikationskrise kräftig durchgeschüttelt und vor allem wachgerüttelt, schockiert darüber, dass Teile der wissenschaftlichen Befunde, auf die man vertraute, sich als doch nicht so klar (manchmal kaum) replizierbar herausstellten, wie erhofft. Einer Arbeit von Monya Baker, die im Jahr 2016 in Nature unter dem herausfordernden Titel «1‘500 scientists lift the lid on reproducibility» publiziert wurde, ist zu entnehmen, dass die wenigsten Forscher*innen bis dato probiert hatten, eine missglückte Replikation zu veröffentlichen (Baker, 2016). Einer der interviewten Forscher sagte dazu, dass er eine «cold and dry rejection» erwarten würde, sollte er dies tun. Die Zahlen in Bakers Artikel bleiben umso erstaunlicher, als die Mehrheit der für die Umfragen befragten Forscher*innen es nicht schafften, ein eigenes oder ein Experiment von Kolleg*innen zu replizieren. Die Sache mit dem wissenschaftlichen Fortschritt und Coles Trichter scheint also doch nicht so leicht zu sein.
Die Replikationskrise bezieht sich auf die Herausforderungen in der Wissenschaft, insbesondere in Bezug auf die Schwierigkeiten, Studienergebnisse zu replizieren oder zu reproduzieren. Dieses Phänomen wurde in verschiedenen Disziplinen, darunter Psychologie, Biomedizin und Sozialwissenschaften, beobachtet. Forscher*innen haben festgestellt, dass viele veröffentlichte Studien, insbesondere solche mit geringer Stichprobengrösse oder methodischen Mängeln, schwer oder gar nicht replizierbar sind. Faktoren wie Publikationsdruck, selektive Berichterstattung von Ergebnissen und unzureichende Transparenz in der Forschungsmethodik tragen zu dieser Krise bei. Die Replikationskrise wirft wichtige Fragen zur Zuverlässigkeit wissenschaftlicher Erkenntnisse auf und betont die Notwendigkeit, Forschungspraktiken zu verbessern, um die Glaubwürdigkeit und Qualität wissenschaftlicher Erkenntnisse zu sichern.
Learnings aus der Replikationskrise – mehr Open Science und die Messbarmachung von wissenschaftlichem Fortschritt
So gerne psychologische Forscher*innen messen – wissenschaftlicher Fortschritt in der Psychologie ist schwer messbar. Erfolg wird häufig an Publikationszahlen, Forschungsgeldern und Outputgrössen wie dem h-Index von Forscher*innen «gemessen». Kritik an diesen Formen der Erfolgsmessung in (psychologischer) Wissenschaft ist ebenso zahlreich, wie es einflussreiche Alternativvorschläge nicht sind. Betrachtet man die Anzahl an Publikationen über die letzten Jahre, gerät man ausserdem ins Staunen, da generell unheimlich viel veröffentlicht wird – Tendenz steigend (Johnson et al., 2018). Allein in 2018 wurden drei Millionen wissenschaftliche Artikel weltweit veröffentlicht (Johnson et al., 2018). Das macht es zusätzlich zu dem Replikationsdilemma schwierig, einen Überblick über den Fortschritt (auch und nicht nur) in der wissenschaftlichen Psychologie zu behalten.
Erste Versuche, wissenschaftlichen Fortschritt in der Psychologie zu quantifizieren, kommen aus der Metawissenschaft. Metawissenschaft ist die Wissenschaft über Wissenschaft. Sie beschäftigt sich mit organisatorischen Aspekten von Wissenschaft, Kritikpunkten an ihren Methoden und unterstützt damit ihre Entwicklung sowie Verbesserung. Systematische Metawissenschaft ist spätestens seit dem Zugriff auf moderne Tools der Text-Analyse und Datenauswertung schneller und effizienter möglich. Trotzdem beginnen psychologische Forscher*innen erst die Möglichkeiten auszutesten, die sich ihnen in diesem Feld bieten. Ist es möglich, mit modernen metawissenschaftlichen Methoden nachzuweisen, ob die Psychologie als Wissenschaft lernt und Fortschritt erzielt?
Dieser Frage gingen beispielsweise Youyou Wu und Kolleg*innen (2023) nach, indem sie über 10‘000 psychologische Artikel in eine Analyse einbezogen, um festzustellen, mit welcher Wahrscheinlichkeit ein Artikel repliziert werden würde. Die dafür notwendigen Informationen gewannen sie direkt aus den Texten der jeweiligen Artikel. Andere Forscher*innen fokussierten sich auf ein statistisches Mass in etwa 1‘500 psychologischen Artikeln. Geir Smedslund und Kolleg*innen (2022) verglichen die Höhe der Varianzaufklärungen in Artikeln zwischen 1956–2022 und stellten fest, dass sich dieses Mass leider nicht vergrössert hat. Das Mass der Varianz informiert darüber, welcher Anteil der Streuung eines abhängigen Merkmals auf die Veränderung von unabhängigen Merkmalen zurückzuführen ist. Im Idealfall kann die gesamte Streuung auf die jeweilige Kombination unabhängiger Merkmale zurückgeführt werden, was einer 100-prozentigen Varianzaufklärung entsprechen würde (das wäre eine utopisch perfekte Erklärung eines Phänomens). Dass sich die Varianzaufklärung in der Psychologie über einige Jahre der Forschung scheinbar nicht vergrössert, deutet darauf hin, dass die Modelle, die zur Erklärung von Phänomenen berechnet werden, nicht wirklich besser geworden sind. Führt mehr psychologische Forschung also nicht zu mehr Varianzaufklärung und damit zu systematisch «besserem» Wissen? What?
McPhetres und Kolleg*innen (2021) wählten noch einen anderen Ansatz, um zu verstehen, wie gut die Psychologie als Wissenschaft vorankommt. Sie verstehen wissenschaftlichen Fortschritt als Verbesserung der Forschung durch bessere Fundierung durch Theorien, was entsprechend auch in wissenschaftlichen Artikeln zum Ausdruck kommen sollte. Also untersuchten die Forscher*innen um McPhetres, wie häufig das Wort «Theorie» in psychologischen wissenschaftlichen Artikeln vorkommt. Dieser (händische) Ansatz ist deutlich mühsamer und zeitintensiver als automatisierte Lösungen. Auch die Fehleranfälligkeit und Meinungsverschiedenen unter Hinzunahme von Expert*innen, die gegebenen Artikel bewerten, bleibt eine Herausforderung.
Schon dran gedacht? Warum nicht GPT einsetzen…
Auch wenn psychologische Forscher*innen das Feld der systematisch-automatisierten Metawissenschaft gerade erst für sich zu entdecken scheinen, gibt es Hoffnung, dass diese Art der text-basierten Erkenntnis Einblicke in das Innenleben einer Forschung und ihrer Entwicklung geben kann. Mit dem Aufkommen von schnellen und präziseren maschinellen Textverarbeitungsalgorithmen wie GPT-4 bleibt es nur noch eine Frage der Zeit, bis auch solche Tools für Metawissenschaft fruchtbar gemacht werden. Bis dahin müssen wir uns mit einzelnen Eindrücken in den wissenschaftlichen Fortschritt der Psychologie begnügen, die schiere Masse an Text und Fortschritt bleibt selbst für Expert*innen im Fach schwer zu fassen.
Eventuell kann Newells so aktueller Gedanke von 1973 weitergesponnen werden: «Suppose we have too many additional papers, just like those of today (…), where is psychology today? How can we measure the evolution of a science of man adequate in power and commensurate with his complexity?
