Testvalidierung Schritt für Schritt: vom Item zur Norm

Eine Testvalidierung ist kein einzelner Kennwert, sondern ein mehrstufiger Prozess: Aus einer theoretischen Konstruktdefinition entsteht ein Itempool, daraus eine geprüfte Skala und schließlich ein normiertes Verfahren. Validität ist dabei keine Eigenschaft des Tests, sondern eine Aussage über die Angemessenheit einer bestimmten Interpretation seiner Werte. Genau in dieser Formulierung wird sie im Master geprüft.

Phase 1: Konstrukt definieren und abgrenzen

Am Anfang steht keine Frageformulierung, sondern eine Definition. Was genau soll gemessen werden, und wovon ist es abzugrenzen? Ein Beispiel: „Akademische Prokrastination“ muss von Perfektionismus, Gewissenhaftigkeit und allgemeiner Selbstregulation unterschieden werden. Aus dieser Abgrenzung ergeben sich später die Hypothesen zur diskriminanten Validität. Wer hier unpräzise bleibt, kann am Ende nicht belegen, dass er nicht einfach ein bestehendes Konstrukt neu benannt hat.

Phase 2: Itempool und Inhaltsvalidität

Der Itempool sollte deutlich größer sein als die geplante Skala; ein Verhältnis von etwa drei zu eins ist üblich. Anschließend beurteilen Fachleute jedes Item danach, ob es die definierte Facette abbildet. Erst danach folgen kognitive Interviews mit Personen aus der Zielgruppe: Sie sagen laut, wie sie ein Item verstehen. Diese Phase kostet wenig und verhindert die häufigsten späteren Probleme – doppelte Verneinungen, zwei Aussagen in einem Item, mehrdeutige Zeitbezüge.

Phase 3: Pilotstudie und Itemselektion

Die erste Erhebung dient der Itemanalyse. Ausgewertet werden Schwierigkeit, Trennschärfe, Verteilungsform und Antwortverhalten. Faustregeln für die Stichprobengröße reichen von fünf bis zehn Personen pro Item, mindestens aber etwa 200 Fälle für stabile Faktorlösungen. Aussortiert werden Items mit Trennschärfen unter .20, extremer Schiefe oder auffälligem Fehlwertmuster. Wie diese Kennwerte im Einzelnen zu lesen sind, beschreibt Psychometrie verstehen: Itemanalyse, Reliabilität, Normen.

Phase 4: Struktur prüfen – an zwei Stichproben

Der methodisch entscheidende Schritt: Die explorative Faktorenanalyse an Stichprobe A entwickelt die Struktur, die konfirmatorische Faktorenanalyse an einer neuen Stichprobe B prüft sie. Beides an denselben Daten zu rechnen ist zirkulär, weil das Modell dort per Konstruktion passt. Diese Kreuzvalidierung ist der häufigste Kritikpunkt an Masterarbeiten zur Testkonstruktion. Welche Fitindizes dabei erwartet werden, behandelt Psychometrische Kennwerte richtig interpretieren.

Phase 5: Validitätsbelege sammeln

Der inkrementelle Beleg wird oft vergessen, ist aber der eigentliche Existenzgrund eines neuen Verfahrens. Wenn deine Skala zur Prokrastination nichts vorhersagt, was Gewissenhaftigkeit nicht schon erklärt, braucht niemand sie – unabhängig davon, wie gut ihre internen Kennwerte sind.

Phase 6: Stabilität und Messinvarianz

Eine Retest-Erhebung nach zwei bis vier Wochen zeigt, ob das Verfahren ein überdauerndes Merkmal misst oder einen Zustand. Parallel wird geprüft, ob das Modell in verschiedenen Gruppen gleich funktioniert. Ohne mindestens skalare Messinvarianz sind Mittelwertvergleiche zwischen Geschlechtern, Altersgruppen oder Sprachversionen nicht interpretierbar – ein Punkt, der bei Übersetzungen fast immer relevant wird.

Phase 7: Normierung

Die Normstichprobe muss die Population abbilden, für die das Verfahren eingesetzt werden soll, und ausreichend groß sein; für differenzierte Normtabellen werden mehrere hundert Fälle pro Untergruppe benötigt. Aus den Rohwerten entstehen z-Werte und daraus T-Werte, Stanine oder Prozentränge. Wichtig ist die Dokumentation der Erhebungsbedingungen: Wer, wann, unter welchen Umständen – sonst lässt sich später nicht beurteilen, ob eine Person zur Norm passt.

Phase 8: Dokumentation

Am Ende steht ein Manual, das Konstrukt, Konstruktionsweg, alle Kennwerte, Normtabellen und die Grenzen der Interpretation festhält. Genau hier zeigt sich der moderne Validitätsbegriff: Dokumentiert wird nicht, dass „der Test valide ist“, sondern für welche Interpretationen und Anwendungsbereiche ausreichende Belege vorliegen.

Vier Fehler, die Validierungsprojekte scheitern lassen

1. EFA und CFA an derselben Stichprobe rechnen.
2. Nur interne Kennwerte berichten und keinen einzigen Außenbezug prüfen.
3. Items nach Kennwerten streichen, bis das Modell passt, ohne inhaltliche Begründung.
4. Normen an einer Gelegenheitsstichprobe von Studierenden bilden und für die Allgemeinbevölkerung ausgeben.

Den vollständigen Ablauf mit Checklisten und Beispielstudien behandelt das Modul Psychometrie & Validierung; die Anwendung auf konkrete diagnostische Verfahren ergänzt Psychologische Diagnostik & Testkonstruktion, die eignungsdiagnostische Perspektive Personalpsychologie & Eignungsdiagnostik. Alle Masterthemen zusammen findest du im Psychologie-Masterkurs komplett. Lernmaterial für Schule und Ausbildung gibt es darüber hinaus bei Stifo.

Häufige Fragen

Wie groß muss die Stichprobe für eine Testvalidierung sein?

Für Faktorenanalysen gelten fünf bis zehn Personen pro Item als Orientierung, mindestens jedoch etwa 200 Fälle. Entscheidend ist neben der Größe die Kommunalitätshöhe: Bei klaren Faktoren mit hohen Ladungen reichen kleinere Stichproben als bei schwacher Struktur.

Kann ich eine Testvalidierung als Masterarbeit machen?

Ja, allerdings meist als Teilprojekt. Realistisch sind Konstruktdefinition, Itementwicklung, eine Pilotierung und eine erste Strukturprüfung. Eine vollständige Validierung inklusive Normierung und Retest übersteigt den Rahmen einer einzelnen Abschlussarbeit deutlich.

Warum ist Validität keine Eigenschaft des Tests?

Weil sie sich immer auf eine bestimmte Interpretation in einem bestimmten Kontext bezieht. Ein Verfahren kann für die Beschreibung einer Ausprägung gut belegt sein und für eine Auswahlentscheidung unzureichend. Deshalb spricht man heute von Validitätsbelegen für eine Nutzung.

Was unterscheidet Validierung von Testkonstruktion?

Die Konstruktion umfasst Itementwicklung und Skalenbildung, die Validierung das Sammeln von Belegen dafür, dass die Werte wie beabsichtigt interpretiert werden dürfen. In der Praxis verschränken sich beide, konzeptuell sind es getrennte Aufgaben mit unterschiedlichen Gütemaßstäben.