Replikationskrise: Wissenschaftstheorie in der Psychologie

Die Replikationskrise beschreibt den Befund, dass sich ein erheblicher Teil publizierter psychologischer Effekte in unabhängigen Wiederholungsstudien nicht bestätigen lässt. Ein groß angelegtes Replikationsprojekt der Open Science Collaboration konnte 2015 bei rund einem Drittel von hundert wiederholten Studien signifikante Effekte reproduzieren – und die replizierten Effekte fielen im Schnitt deutlich kleiner aus als im Original. Für die Wissenschaftstheorie ist das kein Skandal, sondern ein Lehrstück.

Warum das kein Zufall ist

Die Ursachen liegen nicht in Fälschung, sondern in Anreizstrukturen und statistischen Freiheitsgraden, die sich einzeln kaum bemerkbar machen und in der Summe das Publikationssystem verzerren.

• Publikationsbias: Signifikante Befunde werden publiziert, nicht signifikante verschwinden in der Schublade. Die veröffentlichte Literatur ist damit eine systematisch verzerrte Stichprobe aller durchgeführten Studien.
• p-Hacking: Analysen werden so lange variiert – Ausreißer entfernen, Kovariaten aufnehmen, Erhebung fortsetzen – bis der p-Wert unter .05 fällt. Jede Entscheidung für sich wirkt vertretbar, gemeinsam erhöhen sie die Fehlerrate erster Art massiv.
• HARKing: Hypothesen werden nach Kenntnis der Ergebnisse formuliert und als vorab aufgestellt dargestellt. Damit wird eine explorative Analyse als konfirmatorische Prüfung ausgegeben.
• Geringe Teststärke: Viele klassische Studien arbeiten mit kleinen Stichproben. Ein signifikanter Befund bei niedriger Power ist überdurchschnittlich oft ein Zufallstreffer mit überschätzter Effektstärke.

Die wissenschaftstheoretische Deutung

Der Duhem-Quine-Einwand ist dabei der theoretisch anspruchsvollste Punkt und in Prüfungen besonders beliebt. Wenn eine Replikation scheitert, kann die Theorie falsch sein – oder die Messung, die Stichprobe, der kulturelle Kontext, die Versuchsleiterinstruktion. Genau deshalb ist die Debatte um „direkte“ gegenüber „konzeptuelle“ Replikationen keine Formalie: Nur wenn festgelegt ist, was als gleiche Bedingung gilt, kann ein Ausbleiben des Effekts überhaupt informativ sein. Die Grundlagen dieser Argumentation findest du in Wissenschaftstheorie der Psychologie: Grundbegriffe im Master.

Was sich in der Praxis geändert hat

1. Präregistrierung: Hypothesen, Stichprobenplanung und Auswertungsstrategie werden vor der Datenerhebung öffentlich festgelegt. Damit wird die Grenze zwischen explorativ und konfirmatorisch wieder überprüfbar.
2. Registered Reports: Die Begutachtung erfolgt vor der Datenerhebung; die Annahme hängt vom Design ab, nicht vom Ergebnis. Das entzieht dem Publikationsbias die Grundlage.
3. Poweranalyse vorab: Die Stichprobengröße wird aus der kleinsten interessierenden Effektstärke abgeleitet, nicht aus Machbarkeit.
4. Effektstärken und Intervalle statt reiner p-Werte: Berichtet wird, wie groß ein Effekt ist und wie präzise er geschätzt wurde.
5. Offene Daten und Analyseskripte: Reanalyse durch Dritte wird möglich, Auswertungsentscheidungen werden nachvollziehbar.

Was das für deine eigene Arbeit bedeutet

Drei Konsequenzen sind unmittelbar praktisch. Erstens: Formuliere Hypothesen und Auswertungsplan schriftlich, bevor du Daten siehst – auch in einer Masterarbeit ohne formale Präregistrierung. Zweitens: Trenne im Ergebnisteil ausdrücklich konfirmatorische von explorativen Analysen; das ist keine Schwäche, sondern methodische Sorgfalt. Drittens: Bewerte fremde Studien nach Stichprobengröße, Effektstärke und Präregistrierung, nicht nach der Signifikanz allein. Besonders relevant wird das bei Wirksamkeitsstudien, wie sie in Evidenzbasierte Psychotherapie bewertet werden, und bei datengetriebenen Auswertungen, die KI in der Psychologie behandelt.

Die theoretische Systematik dazu liefert das Modul Wissenschaftstheorie der Psychologie, alle Masterfächer zusammen der Psychologie-Masterkurs komplett. Wie du diese Debatte prüfungstauglich aufbereitest, zeigt Wissenschaftstheorie lernen: Klausurstrategie für den Master.

Häufige Fragen

Ist die Psychologie durch die Replikationskrise widerlegt?

Nein. Betroffen sind einzelne Effekte und eine bestimmte Forschungspraxis, nicht die Disziplin als Ganzes. Dass die Krise überhaupt aufgedeckt wurde, ist selbst ein Beleg für funktionierende Selbstkorrektur – genau das, was wissenschaftstheoretisch von einer empirischen Wissenschaft erwartet wird.

Was ist der Unterschied zwischen direkter und konzeptueller Replikation?

Eine direkte Replikation wiederholt das Design so genau wie möglich und prüft den Befund selbst. Eine konzeptuelle Replikation prüft dieselbe Hypothese mit anderer Operationalisierung und stützt damit die Theorie, nicht die konkrete Studie. Beide beantworten unterschiedliche Fragen.

Warum ist p-Hacking so schwer zu erkennen?

Weil jede einzelne Entscheidung methodisch begründbar wirkt. Erst die Summe unberichteter Freiheitsgrade treibt die Rate falsch positiver Befunde nach oben. Sichtbar wird das Problem nur, wenn der Analyseplan vorab festgelegt und offengelegt wurde.

Muss ich meine Masterarbeit präregistrieren?

Verpflichtend ist das meist nicht, in vielen Instituten aber gern gesehen. Auch ohne formale Registrierung lohnt sich ein schriftlich fixierter Analyseplan vor der Datenerhebung: Er schützt vor nachträglicher Hypothesenanpassung und stärkt die Diskussion deiner Ergebnisse.