Testkonstruktion ist der systematische Weg von einer inhaltlichen Frage zu einem messgenauen psychologischen Verfahren. Im Master reicht es nicht mehr, Gütekriterien aufzuzählen – du musst sie herstellen: Konstrukt definieren, Items formulieren, Kennwerte prüfen, Ballast verwerfen und am Ende belegen, dass dein Verfahren tatsächlich misst, was es messen soll.
Was den Master von der Bachelor-Testtheorie unterscheidet
Im Bachelor lernst du Objektivität, Reliabilität und Validität als Begriffe. Du kannst definieren, was Retest-Reliabilität bedeutet, und einen Trennschärfekoeffizienten interpretieren. Im Master dreht sich die Perspektive um: Du stehst auf der Seite derjenigen, die ein Verfahren bauen und verantworten. Damit werden Entscheidungen wichtig, die im Bachelor gar nicht auftauchen – wie viele Items brauche ich pro Facette, welches Antwortformat passt zum Konstrukt, welches Messmodell unterstelle ich überhaupt?
Diese Perspektive ist auch der Grund, warum Master-Klausuren selten reine Definitionsfragen stellen. Typisch sind Aufgaben wie: „Ihre Skala hat ein Cronbachs Alpha von .93 bei zwölf Items. Beurteilen Sie das.“ Die erwartete Antwort ist eben nicht „sehr gut“, sondern der Hinweis auf mögliche Item-Redundanz und ein enges Konstrukt-Sampling.
Die fünf Schritte der Testkonstruktion
- Konstruktdefinition. Was genau soll gemessen werden, wie grenzt sich das Konstrukt von Nachbarkonstrukten ab, und ist es ein- oder mehrdimensional gedacht? Ohne diese Festlegung lässt sich später keine Validität prüfen.
- Itemgenerierung. Aus der Konstruktdefinition wird eine Item-Landkarte: pro Facette mehrere Formulierungen, bewusst überproduziert. Faustregel in der Praxis ist etwa die doppelte bis dreifache Zahl der später benötigten Items.
- Pilotierung und Itemanalyse. An einer Stichprobe werden Schwierigkeit, Trennschärfe und Verteilungsform bestimmt. Items mit extremer Schwierigkeit oder niedriger Trennschärfe fliegen raus – aber nur, wenn dadurch die inhaltliche Breite nicht zerstört wird.
- Dimensionalitäts- und Modellprüfung. Explorative Faktorenanalyse zur Strukturfindung, konfirmatorische Faktorenanalyse zur Prüfung der theoretisch erwarteten Struktur, bei Bedarf ein IRT-Modell.
- Validierung und Normierung. Konvergente und diskriminante Belege, Kriteriumszusammenhänge, danach Normwerte an einer definierten Bezugsgruppe.
Klassische Testtheorie und Item-Response-Theorie
Beide Modellfamilien werden im Master vorausgesetzt. Der Unterschied lässt sich auf eine Frage zuspitzen: Bezieht sich die Messgenauigkeit auf den Test als Ganzes oder auf jede einzelne Person?
| Merkmal | Klassische Testtheorie | Item-Response-Theorie |
|---|---|---|
| Grundgleichung | Beobachteter Wert = wahrer Wert + Fehler | Lösungswahrscheinlichkeit als Funktion von Personen- und Itemparameter |
| Messfehler | Für alle Personen gleich angenommen | Variiert über den Merkmalsbereich (Testinformation) |
| Kennwerte | Schwierigkeit, Trennschärfe, Alpha | Itemschwierigkeit, Diskrimination, ggf. Rateparameter |
| Stichprobenabhängigkeit | Kennwerte hängen von der Stichprobe ab | Parameter sind bei Modellgeltung stichprobenunabhängig |
| Typischer Einsatz | Fragebögen, Persönlichkeitsskalen | Leistungstests, adaptives Testen |
Kennwerte, die du sicher beherrschen musst
- Itemschwierigkeit. Anteil der Zustimmung beziehungsweise Lösungen. Werte um .50 differenzieren am stärksten; für eine breite Skala brauchst du dennoch eine gestreute Schwierigkeitsverteilung.
- Trennschärfe. Korrelation eines Items mit dem Skalenwert, sinnvollerweise part-whole-korrigiert. Unter .30 ist ein Item meist ein Kandidat zum Aussortieren.
- Cronbachs Alpha. Kein Maß für Eindimensionalität, sondern eine untere Schranke der Reliabilität unter der Annahme tau-äquivalenter Items – und stark abhängig von der Itemzahl.
- McDonalds Omega. Faktoranalytisch begründete Alternative, die ohne die Tau-Äquivalenz-Annahme auskommt und deshalb in aktuellen Arbeiten zunehmend berichtet wird.
- Modellfit-Indizes. CFI, TLI, RMSEA und SRMR bewertest du gemeinsam, nie einzeln.
Typische Fehlerquellen
- Alpha maximieren wollen. Wer so lange Items entfernt, bis Alpha maximal ist, produziert Redundanz und verengt das Konstrukt. Inhaltsvalidität geht vor Kennwertkosmetik.
- Faktorenanalyse als Beweis missverstehen. Eine explorative Faktorenanalyse an derselben Stichprobe, an der die Items entwickelt wurden, bestätigt nichts – dafür brauchst du eine neue Stichprobe.
- Validität als Eigenschaft des Tests behandeln. Validiert wird immer die Interpretation von Testwerten für einen bestimmten Zweck, nicht der Test an sich.
- Normen ohne Bezugsgruppe. Ein T-Wert ist ohne Angabe der Normstichprobe und ihres Erhebungsjahres nicht interpretierbar.
So baust du dir das Thema auf
Am schnellsten wird Testkonstruktion greifbar, wenn du sie einmal selbst durchspielst: Nimm ein kleines Konstrukt, formuliere zehn Items, erhebe Daten im Freundeskreis und rechne Schwierigkeit und Trennschärfe von Hand. Der methodische Rahmen dazu steht im Modul Psychologische Diagnostik & Testkonstruktion, das die Schritte von der Konstruktdefinition bis zur Normierung durchgeht. Die statistischen Nachweise – Modellgeltung, Invarianz, Validierungsdesigns – vertieft Psychometrie & Validierung. Wer die Grundlagen aus dem Bachelor auffrischen will, findet sie kompakt in Testtheorie & Psychologische Diagnostik; alle Mastermodule zusammen bündelt der Psychologie-Masterkurs komplett.
Weil diagnostische Verfahren immer auf Klassifikationssysteme treffen, lohnt parallel der Beitrag ICD-11 und DSM-5 im Vergleich. Und falls du nebenher unterrichtest oder Lernmaterial für Schule und Ausbildung suchst: Passendes findest du bei Stifo.
Häufige Fragen
Wie viele Items braucht eine Skala?
Es gibt keine feste Zahl. Als Orientierung gelten vier bis acht Items pro Dimension: genug für eine akzeptable Reliabilität, wenig genug für zumutbare Bearbeitungszeit. Entscheidend ist, dass die Items die inhaltliche Breite des Konstrukts abdecken und nicht nur Umformulierungen desselben Gedankens sind.
Ab wann ist Cronbachs Alpha gut genug?
Für Gruppenvergleiche in der Forschung gelten Werte ab etwa .70 als brauchbar, für Einzelfallentscheidungen sollten es .80 bis .90 sein. Werte über .95 sind kein Qualitätssiegel, sondern ein Hinweis auf redundante Items. Berichte zusätzlich Omega und die Itemzahl.
Wann brauche ich IRT statt klassischer Testtheorie?
Immer dann, wenn du Personen mit unterschiedlichen Itemsets vergleichen willst, adaptiv testen möchtest oder die Messgenauigkeit über den Merkmalsbereich hinweg unterschiedlich sein darf. Für kurze Fragebogenskalen mit homogener Stichprobe reicht die klassische Testtheorie meist aus.
Was gehört in einen Testkonstruktionsbericht?
Konstruktdefinition, Itemherkunft, Stichprobenbeschreibung, Itemkennwerte, Ergebnisse der Dimensionalitätsprüfung, Reliabilitäts- und Validitätsbelege sowie die Normierungsgrundlage. Ohne diese Angaben ist ein Verfahren nicht nachvollziehbar und in Gutachten nicht verwendbar.