Psychometrie ist die Lehre vom Messen psychischer Merkmale. Während die Gütekriterien im Bachelor fragen, ob ein Test brauchbar ist, fragt die Psychometrie im Master, wie man ihn so baut und prüft, dass er es wird: über Itemkennwerte, ein explizites Messmodell und eine belastbare Normierung. Die drei Ebenen sind Item, Skala und Norm.
Ebene 1: Die Itemanalyse
Jede Skala ist nur so gut wie ihre einzelnen Aufgaben. Vor jeder Reliabilitätsangabe steht deshalb die Itemanalyse mit drei Kennwerten.
- Itemschwierigkeit (p): Anteil der Personen, die zustimmen oder lösen. Bei p = .95 stimmen fast alle zu – das Item trennt niemanden von niemandem und ist informationslos. Brauchbar sind meist Werte zwischen .20 und .80, mit Schwerpunkt um .50.
- Trennschärfe (r_it): Korrelation des Items mit dem Gesamtwert der übrigen Items. Ab etwa .30 gilt ein Item als akzeptabel, unter .20 sollte es überarbeitet oder gestrichen werden. Negative Trennschärfen sind fast immer ein Hinweis auf ein vergessenes Umpolen invertierter Items.
- Itemvarianz: Ein Item ohne Streuung trägt nichts zur Differenzierung bei, unabhängig davon, wie gut es inhaltlich klingt.
Ein typischer Befund aus einer Pilotstudie: Item 7 hat p = .91 und r_it = .12. Beide Werte zeigen dasselbe Problem aus zwei Richtungen – die Aussage ist so allgemein zustimmungsfähig, dass sie keine Unterschiede abbildet. Streichen verbessert hier die Skala, obwohl das Alpha dadurch kurzfristig sinken kann.
Ebene 2: Modellwahl zwischen KTT und IRT
| Aspekt | Klassische Testtheorie | Item-Response-Theorie |
|---|---|---|
| Bezugsgröße | Summenwert der Skala | latente Fähigkeit (Theta) je Person |
| Messfehler | ein Wert für die gesamte Skala | abhängig von der Merkmalsausprägung |
| Kennwerte | Schwierigkeit, Trennschärfe, Alpha | Itemparameter, Informationsfunktion |
| Stichprobenabhängigkeit | hoch | gering bei Modellgeltung |
Die praktische Konsequenz: In der KTT gilt ein Standardmessfehler für alle, obwohl ein Test im mittleren Bereich meist genauer misst als an den Rändern. Die IRT modelliert genau das und ist die Grundlage für adaptives Testen, bei dem die nächste Aufgabe zur bisherigen Leistung passt. Für Klausuren genügt oft das Rasch-Modell als einfachster Fall mit gleicher Trennschärfe aller Items und einem Parameter pro Item.
Der Standardmessfehler: ein Rechenbeispiel
Der Standardmessfehler (SEM) macht aus einem Punktwert ein Intervall. Er berechnet sich als SEM = s × Wurzel(1 − Rel). Ein Intelligenztest mit Standardabweichung 15 und Reliabilität .91 ergibt: SEM = 15 × Wurzel(.09) = 15 × .30 = 4,5. Ein gemessener IQ von 108 liegt damit im 95-Prozent-Intervall zwischen etwa 99 und 117. Zwei Personen mit 105 und 110 unterscheiden sich also nicht belegbar. Genau diese Rechnung ist der Grund, warum in Gutachten Vertrauensintervalle statt einzelner Punktwerte berichtet werden.
Ebene 3: Normierung und Normskalen
Ein Rohwert ist bedeutungslos, solange kein Bezugssystem existiert. Die Normierung ordnet ihn einer Referenzstichprobe zu. Die geläufigen Skalen lassen sich alle aus dem z-Wert ableiten:
- z-Wert: Mittelwert 0, Standardabweichung 1.
- T-Wert: T = 50 + 10z. Ein z von 1,2 ergibt T = 62.
- IQ-Skala: IQ = 100 + 15z.
- Stanine: neun Stufen, grob und robust.
- Prozentrang: Anteil der Normstichprobe mit gleichem oder niedrigerem Wert.
Der häufigste Denkfehler betrifft den Prozentrang: Er ist nicht intervallskaliert. Der Unterschied zwischen Prozentrang 50 und 60 ist eine kleine Merkmalsdifferenz, der zwischen 88 und 98 eine große. Mittelwerte aus Prozenträngen zu bilden ist deshalb unzulässig. Ebenso wichtig: Normen veralten. Eine Normstichprobe von vor zwanzig Jahren führt systematisch zu verzerrten Befunden, weshalb Verfahren regelmäßig neu normiert werden müssen.
Messinvarianz: die oft übersehene Voraussetzung
Vergleichst du Gruppen – Männer und Frauen, Alterskohorten, Übersetzungen eines Fragebogens – setzt du voraus, dass der Test in beiden Gruppen dasselbe misst. Diese Annahme heißt Messinvarianz und wird in konfirmatorischen Faktorenanalysen stufenweise geprüft: konfigural (gleiche Struktur), metrisch (gleiche Ladungen), skalar (gleiche Intercepts). Ohne skalare Invarianz sind Mittelwertvergleiche zwischen Gruppen nicht interpretierbar – ein Punkt, an dem viele Masterarbeiten angreifbar sind.
Wo du weiterarbeitest
Die vollständige Systematik von der Itemformulierung bis zur Normtabelle behandelt das Modul Psychometrie & Validierung, die Anwendung auf konkrete Verfahren ergänzt Psychologische Diagnostik & Testkonstruktion. Alle Masterthemen zusammen findest du im Psychologie-Masterkurs komplett. Die Bachelor-Grundlagen dazu wiederholst du in Gütekriterien psychologischer Tests, den kompletten Ablauf einer Validierungsstudie zeigt Testvalidierung Schritt für Schritt. Lernmaterial für Schule und Ausbildung findest du übrigens bei Stifo.
Häufige Fragen
Was ist der Unterschied zwischen Testtheorie und Psychometrie?
Die Testtheorie liefert das Modell, das den Zusammenhang zwischen wahrem Wert und Messwert beschreibt. Die Psychometrie ist die angewandte Disziplin, die daraus konkrete Verfahren zur Konstruktion, Prüfung und Normierung von Tests ableitet. Im Studium ist die Testtheorie meist Bachelor-, die Psychometrie Masterstoff.
Wann sollte ich ein Item aus meiner Skala entfernen?
Wenn die Trennschärfe unter etwa .20 liegt, die Schwierigkeit extrem ist oder das Item auf einem fremden Faktor lädt. Entscheidend ist aber immer auch die inhaltliche Prüfung: Ein Item, das für die Konstruktabdeckung unverzichtbar ist, streicht man nicht allein wegen eines Kennwerts.
Warum reicht Cronbachs Alpha im Master nicht mehr aus?
Alpha setzt tau-äquivalente Items voraus und unterschätzt die Reliabilität, wenn diese Annahme verletzt ist. Zudem sagt es nichts über Dimensionalität. Im Master werden deshalb McDonalds Omega, konfirmatorische Faktorenanalysen und Messinvarianzprüfungen erwartet.
Wie aktuell muss eine Normstichprobe sein?
Als Faustregel gelten Normen nach etwa acht bis zehn Jahren als überprüfungsbedürftig, bei Leistungstests eher früher. Veränderte Bildungsbedingungen und Kohorteneffekte verschieben die Verteilung, sodass alte Normen systematisch zu günstige oder zu ungünstige Werte liefern.