Diagnostik und Testtheorie: Reliabilität, Basisrate und Normwerte

Kann ein reliabler Test trotzdem wenig valide sein?

Ja, und genau das wird in Diagnostikklausuren gern gefragt. Stell dir einen Konzentrationstest vor, der vor allem die Lesegeschwindigkeit erfasst. Er liefert bei Wiederholung fast dieselbe Rangfolge, also eine hohe Retest-Reliabilität. Für Konzentration ist er trotzdem wenig valide. Reliabilität sagt, wie genau gemessen wird. Validität sagt, ob die Deutung der Werte für einen bestimmten Zweck gerechtfertigt ist.

Umgekehrt begrenzt die Reliabilität die Validität. Die Korrelation mit einem Kriterium kann höchstens √(r_xx · r_yy) betragen. Mit r_xx = 0,81 und r_yy = 0,64 liegt die Obergrenze bei 0,72. Für Einzelfälle brauchst du den Standardmessfehler SE = SD · √(1 − r). Bei einem IQ-Test mit SD = 15 und r = 0,91 ergibt das SE = 4,5. Ein 95-%-Intervall um einen gemessenen IQ von 108 reicht damit vereinfacht von etwa 99 bis 117. Ein hohes Cronbachs Alpha zeigt übrigens keine Eindimensionalität, es steigt auch mit der Zahl der Items.

Wie wahrscheinlich ist ein Merkmal nach einem positiven Test?

Hier hilft eine Vierfeldertafel mit absoluten Zahlen. Angenommen, 5 % von 1.000 Personen haben das Merkmal, der Test hat eine Sensitivität von 90 % und eine Spezifität von 90 %.

Der positive Vorhersagewert beträgt 45 / 140, also rund 32 %. Zwei von drei positiven Befunden sind falsch. Der negative Vorhersagewert liegt bei 855 / 860, also rund 99,4 %. Steigt die Basisrate auf 30 %, etwa in einer Spezialambulanz, steigt der positive Vorhersagewert bei gleichem Test auf rund 79 %. Sensitivität und Spezifität beschreiben den Test, die Vorhersagewerte beschreiben den Test in einer bestimmten Population.

Wie liest du ein Big-Five-Profil und Normwerte?

Ein Profil zeigt Normwerte, meist T-Werte mit Mittelwert 50 und Standardabweichung 10. Der Bereich von 40 bis 60 umfasst bei Normalverteilung etwa 68 % der Normgruppe. Prüfe vor der Deutung drei Dinge: Welche Normgruppe liegt zugrunde, wurden invertierte Items umgepolt, und wie groß ist die Messunsicherheit der einzelnen Skala? Zwei Skalen unterscheiden sich erst dann belastbar, wenn die Differenz die kritische Differenz überschreitet, die sich aus den Reliabilitäten beider Skalen ergibt. Ein Unterschied von vier T-Punkten zwischen Gewissenhaftigkeit und Offenheit reicht dafür oft nicht. Selbst- und Fremdbericht können außerdem verschieden ausfallen, ohne dass einer von beiden falsch ist.

Was kommt im Master dazu?

Bei der Fragebogenentwicklung stehen Itemkennwerte im Mittelpunkt. Die Itemschwierigkeit beschreibt, wie hoch der Anteil der Lösungen oder der Zustimmung ausfällt. Die korrigierte Trennschärfe ist die Korrelation eines Items mit der Summe der übrigen Items. Niedrige Werte sind ein Anlass, das Item inhaltlich zu prüfen, aber kein automatischer Grund zum Streichen.

In der Item-Response-Theorie beschreibt eine Itemcharakteristikkurve die Lösungswahrscheinlichkeit in Abhängigkeit vom latenten Merkmal. Im Rasch- und im 2PL-Modell ist die Schwierigkeit der Merkmalswert, bei dem die Wahrscheinlichkeit 50 % beträgt. Die Trennschärfe bestimmt die Steilheit, der Rateparameter im 3PL-Modell die untere Grenze der Kurve. Ein Item liefert die meiste Information in der Nähe seiner Schwierigkeit. Darauf beruht adaptives Testen.

Lernplan

1. Woche 1, Tag 1 bis 3Reliabilität und Validität. Für jede Station notieren, welche Fehlerquelle oder welche Validitätsevidenz gemeint ist.
2. Woche 1, Tag 4 bis 6Sensitivität, Spezifität und Basisrate. Jede Aufgabe mit einer Tafel aus 1.000 Personen lösen.
3. Woche 2, Tag 1 bis 3Big Five und Persönlichkeitsprofile. Profile in Sätze übersetzen und die Messunsicherheit mitnennen.
4. Woche 2, Tag 4 bis 6 (Master)Fragebögen entwickeln und Items prüfen. Eigene Items zu einem Konstrukt formulieren und an den Stationen prüfen.
5. Woche 3, Tag 1 bis 3 (Master)Item-Response-Theorie. Kurven skizzieren und Schwierigkeit, Trennschärfe und Information ablesen.

Jede der 15 Stationen beginnt mit einem Fachtext und einer Leitfrage, dann folgen zwei kontrastierende Fälle, eine Fallaufgabe mit begründeter Auswahl und die kommentierte Lösung. Im Bachelor reichen die ersten drei Hefte für die Klausur.

Diese 5 Hefte sind im Paket

Einzelhefte, Paket oder Lernskript?

Für den Überblick im Bachelor gibt es das Lernskript Testtheorie und psychologische Diagnostik, im Master Diagnostik und Testkonstruktion und Psychometrie und Validierung.

Passende Pakete und Seiten

• Alle 30 Studienhefte im Überblick
• Studienhefte Statistik und Methoden
• Studienhefte Master-Methoden und Masterarbeit
• Studienhefte Klinik und Anwendungsfächer
• Klausur Diagnostik und Testtheorie
• Klausur Persönlichkeitspsychologie
• Prüfungspaket Methoden und Diagnostik im Master

Häufige Fragen

Kann ein reliabler Test trotzdem wenig valide sein?

Ja. Ein Test kann Personen sehr genau in dieselbe Rangfolge bringen und trotzdem etwas anderes messen als behauptet. Reliabilität ist eine Voraussetzung für Validität, belegt sie aber nicht. Dafür braucht es Evidenz zu Inhalt, Kriterien und Konstrukt.

Was ist der positive Vorhersagewert?

Der positive Vorhersagewert gibt an, welcher Anteil der positiv getesteten Personen das Merkmal tatsächlich hat. Er hängt stark von der Basisrate ab. Bei seltenen Merkmalen kann er niedrig sein, obwohl Sensitivität und Spezifität hoch sind.

Sind die Hefte für Bachelor oder Master?

Beides. Big Five, Reliabilität und Validität sowie Sensitivität, Spezifität und Basisrate sind für den Bachelor geschrieben. Fragebogenentwicklung und Item-Response-Theorie richten sich an den Master.

Kann ich die Hefte auch einzeln kaufen?

Ja. Jedes Heft kostet einzeln 29,90 €. Ab 4 Heften ist das Paket für 99,90 € günstiger als der Einzelkauf.

Wie bekomme ich die Hefte?

Nach dem Kauf erhältst du die fünf Hefte als PDF zum Download, sofort verfügbar. Mit dem Code ERSTI26 bekommst du 15 % Rabatt, auch auf das Paket.