Fragebögen entwickeln und Items prüfen – Studienheft Psychologie-Master

Du sollst einen eigenen Fragebogen bauen oder die Itemanalyse einer Skala beurteilen und weißt nicht, welcher Kennwert was aussagt. Dieses Heft führt dich durch die Entwicklung und Prüfung von Fragebogenitems, vom definierten Konstrukt über Antwortformate und Pretest bis zu Kennwerten, Struktur und Revision. Die Leitfrage lautet: Was verraten Schwierigkeit und Trennschärfe über ein Item? Gedacht ist es für Masterstudierende, die Testkonstruktion in Klausur, Empra oder Masterarbeit brauchen.

Auf einen Blick

• Thema: Fragebogenkonstruktion und Itemanalyse
• Studienphase: Master
• Umfang: 66 Seiten
• Aufbau: 15 Lernstationen
• Material: Jede Station hat einen Fachtext mit Leitfrage, einen Fall aus dem Studienalltag und ein beschriftetes Schaubild, eine Anwendungsseite mit zwei Vergleichsfällen oder einem Rechenmodell, eine Prüfungswerkstatt mit Fachfrage, Übertragungsaufgabe und Prüfstein sowie eine kommentierte Lösung. Am Ende stehen fünf Wiederholungsfragen ohne Unterlagen und die Fachquellen.
• Format: Digitaler Download als PDF, sofort nach dem Kauf verfügbar

Die 15 Lernstationen

1. Konstrukt definieren: warum eine Frage nach guten Noten akademische Selbstwirksamkeit nur indirekt trifft und wie du das Merkmal von Ergebnissen und Nachbarkonstrukten abgrenzt.
2. Inhaltsplan: wie eine Matrix aus Facetten und Situationen zeigt, welche Bereiche einer Skala fehlen, bevor du Items auswählst.
3. Doppelfrage: wie du ein Item, das zwei Urteile auf einmal abfragt, in eindeutige Einzelitems zerlegst.
4. Bezugszeitraum: welche Erinnerungsprobleme ein vager Zeitraum wie „in letzter Zeit“ erzeugt und wie lang ein Zeitraum sein sollte.
5. Antwortoptionen: wie du sprachliche Anker wie „selten“ oder „manchmal“ auf Verständlichkeit, Reihenfolge und Abdeckung prüfst.
6. Kognitiver Pretest: welche Schritte des Antwortprozesses du mit lautem Denken untersuchst und was ein einzelner Pretest nicht leisten kann.
7. Polung: was du bei einer negativen Item-Gesamtwert-Korrelation zuerst kontrollierst und wie du eine Fünferskala umpolst.
8. Itemschwierigkeit: wie eine Lösungsquote von 0,80 zu lesen ist und warum ein hoher Mittelwert bei Zustimmungsitems etwas anderes bedeutet.
9. Itemvarianz: welche Erklärungen in Frage kommen, wenn fast alle Personen dieselbe Extremkategorie wählen.
10. Korrigierte Trennschärfe: warum das Item für die Item-Rest-Korrelation aus dem Summenwert herausgenommen wird.
11. Reliabilität: wann ein etwas höheres Alpha mit einer schmaleren Inhaltsabdeckung bezahlt wird.
12. Faktorstruktur: wann zwei zusammenhängende Itemgruppen eher getrennte Subskalen als einen Gesamtwert nahelegen.
13. Gruppenfairness: warum ein Mittelwertunterschied zwischen Sprachgruppen noch keine differenzielle Itemfunktion belegt.
14. Validierung: welche zusätzliche Methode die Deutung stärkt, wenn eine neue Skala vor allem mit einer fast gleich formulierten Skala korreliert.
15. Revision: warum eine an der Pilotstichprobe optimierte Skala neue Daten für die Prüfung braucht.

So arbeitest du mit dem Heft

Eine Station beginnt mit einer konkreten Leitfrage und einem kurzen Fall aus dem Studienalltag, etwa einem Item, das nach Stress „in letzter Zeit“ fragt. Danach vergleichst du zwei Fälle oder rechnest ein kleines Modell durch, zum Beispiel den Standardmessfehler und die Spanne um einen Testwert. In der Prüfungswerkstatt beantwortest du die Fachfrage, überträgst sie auf ein zweites Beispiel, wählst zwischen drei Aussagen und korrigierst eine falsche Behauptung. Die kommentierte Lösung folgt auf der nächsten Seite.

Realistisch sind zwei Stationen pro Lerneinheit von etwa einer Stunde. Wenn du gerade einen eigenen Fragebogen planst, bearbeite die Stationen 01 bis 06 vor der Erhebung und die Stationen 07 bis 15, sobald die ersten Pilotdaten vorliegen.

Für wen sich das Heft eignet

• Du schreibst eine Klausur in Diagnostik oder Testkonstruktion im Master und willst Itemkennwerte sicher deuten.
• Du entwickelst im Empra oder in der Masterarbeit eigene Items und musst Auswahlentscheidungen begründen.
• Du bereitest eine mündliche Prüfung vor, in der nach Polung, Trennschärfe oder Inhaltsvalidität gefragt wird.
• Du begutachtest eine bestehende Skala und willst prüfen, ob ihre Revision gut belegt ist.

Häufige Fragen

Was ist der Unterschied zwischen Itemschwierigkeit und Trennschärfe?

Die Itemschwierigkeit beschreibt, wie hoch ein Item im Mittel beantwortet oder wie oft es gelöst wird, bei Leistungsitems also den Lösungsanteil. Die Trennschärfe beschreibt, wie gut das Item zwischen Personen mit niedrigem und hohem Skalenwert unterscheidet, meist als Korrelation mit dem restlichen Summenwert. Ein Item kann eine mittlere Schwierigkeit haben und trotzdem kaum trennen.

Brauche ich Vorwissen?

Du solltest Korrelation, Mittelwert und den Grundgedanken der Reliabilität aus dem Bachelor kennen. Begriffe wie Inhaltsplan, korrigierte Trennschärfe oder DIF werden im Heft Schritt für Schritt eingeführt.

Enthält das Heft auch Rechenaufgaben?

Ja. In mehreren Stationen berechnest du den Standardmessfehler und eine Spanne um einen individuellen Testwert, zuerst im Beispiel und dann in einem veränderten Modell in der Prüfungswerkstatt. Die übrigen Stationen arbeiten mit Fallpaaren und begründeter Auswahl.

Wie erhalte ich das Heft?

Du bekommst das Heft als PDF zum Download. Der Link steht dir direkt nach dem Kauf zur Verfügung, du kannst es am Laptop, Tablet oder ausgedruckt bearbeiten.

Passend dazu

Das Heft ist Teil des Studienhefte-Pakets Diagnostik & Testtheorie. Im Paket bekommst du fünf Hefte für 99,90 € und zahlst damit weniger als beim Einzelkauf. Einen Überblick über alle Hefte zu diesem Bereich gibt die Themenseite Studienhefte Diagnostik & Testtheorie. Wenn du Testkonstruktion im Master breiter wiederholen möchtest, passt das Lernskript Psychologische Diagnostik und Testkonstruktion (Master). Alle 30 Hefte findest du in der Sammlung Studienhefte Psychologie.