In der Defensio kommt sie fast immer, die Frage nach den Grenzen der eigenen Erhebung. Wer dort ehrlich antworten will, braucht vorher eine saubere Vorstellung davon, was seine Zahlen überhaupt abbilden. Genau darum geht es beim Gütekriterium Validität.
Validität ist die Gültigkeit einer Messung: Ein Fragebogen oder ein Test ist valide, wenn er jenes Merkmal erfasst, das in der Forschungsfrage steht, und nicht unbemerkt ein anderes, denn nur dann tragen die Ergebnisse eine Antwort auf genau diese Frage. Am Ende dieses Beitrags kannst du für deine Arbeit sagen, welche Art der Validität du belegst und welche du offenlegst.
📌 Das Wichtigste im Überblick
- Valide misst ein Instrument nur das gemeinte Merkmal.
- Die drei Arten: Inhalts-, Kriteriums- und Konstruktvalidität.
- Eine Kennzahl für Validität gibt es nicht.
- Interne Validität meint den Ursachenschluss, externe die Reichweite.
- Statistik Austria testet Erhebungsbogen vor dem Feldstart.
Kostenlos Umfrage erstellen
Mit empirio.ai erstellst du in wenigen Minuten eine moderne Online-Umfrage – mit Hosting in der EU.
- Umfrage per KI
- Per Drag & Drop anpassen
- Auswertung in Echtzeit
Validität: Gültigkeit einer Messung, in einem Satz
Validität bezeichnet die Gültigkeit einer Messung. Nach Moosbrugger und Kelava (2012) ist ein Test valide, wenn er das Merkmal, das er messen soll, auch wirklich misst und nicht irgendein anderes.
Neben Objektivität und Reliabilität bildet Validität das dritte der Hauptgütekriterien. Das Center for Teaching and Learning der Universität Wien übersetzt alle drei in Prüffragen an eine Prüfung und formuliert für die Validität: „Misst die Prüfung das, was sie messen soll, ist sie gültig (Validität)?“
Valide ist das zugehörige Adjektiv. Ein Beispiel aus der Lehre: Eine Statistik-Prüfung soll den Lernerfolg im Semester abbilden. Werden die Aufgaben aus einem alten Studienplan übernommen und passt nur ein Drittel zum behandelten Stoff, bildet die Beurteilung vor allem das Vorwissen ab. Dieselbe Prüfung, dasselbe Verfahren, nur eben das falsche Merkmal.
Eine Rangfolge gehört dazu: Ohne Reliabilität ist Validität nicht erreichbar, umgekehrt gilt das nicht. Moosbrugger und Kelava halten fest, dass ein Test mit niedriger Reliabilität keine hohe Validität haben kann. Ein präzise messendes Instrument darf also durchaus am Thema vorbeigehen, ein unpräzises kann nie gültig sein.
Hinweis
Umgangssprachlich steht valide für stichhaltig oder belastbar, etwa in der Wendung „valide Zahlen“. Fachlich ist der Begriff engmaschiger: Gültig ist eine Messung stets nur bezogen auf ein bestimmtes Merkmal und einen bestimmten Zweck, niemals pauschal.
Wie Statistik Austria Erhebungsbogen auf Gültigkeit testet
Die amtliche Statistik in Österreich prüft Validität nicht am Ende, sondern vor dem Feldstart. In den Statistischen Nachrichten 2/2016 beschreibt Statistik Austria das Fragebogentesten als Mittel der Qualitätssicherung und übernimmt dabei die Definition von Schnell und anderen: „Ein valides Messinstrument misst das, was es gemäß der zugrundeliegenden Konzepte messen sollte.“
Der Zuschnitt dieser Definition unterscheidet sich vom Lehrbuch. Gültigkeit erscheint hier als Passung zwischen Fragestellung, zugrundeliegendem Konzept und Erhebungsbogen, nicht als Eigenschaft eines fertigen Instruments. Wer so denkt, verlegt die Arbeit an der Validität nach vorn, in die Entwicklung der Fragen.
Die vier dokumentierten Testverfahren
- Kognitive Interviews bringen die Denkprozesse der Befragten ans Licht.
- Respondent-Debriefing befragt die Teilnehmenden nach dem Ausfüllen.
- Interviewer-Debriefing sammelt Beobachtungen der Erhebenden.
- Eine standardisierte Evaluierungsbefragung prüft einzelne Fragen breiter.
Das kognitive Interview lässt sich für eine Diplom- oder Masterarbeit ohne großen Aufwand übernehmen. Fünf bis zehn Personen aus der Zielgruppe gehen den Fragebogen laut denkend durch und schildern, was sie bei jeder Frage verstehen. Wo sich gemeinter und verstandener Inhalt trennen, geht Gültigkeit verloren, und zwar unsichtbar für jede spätere Kennzahl.
Drei Arten der Validität und wie sie belegt werden
Ein einzelnes Prüfverfahren für Validität existiert nicht. Belegt wird sie über Argumente unterschiedlicher Herkunft, und die Testtheorie ordnet sie in drei Arten. Der Unterschied liegt im Maßstab: der eigene Inhalt, ein äußeres Kriterium oder die Theorie hinter dem Merkmal.
In studentischen Arbeiten fällt die Wahl meist auf zwei davon. Ein unabhängiges Vergleichskriterium steht nur selten zur Verfügung, weshalb Inhalts- und Konstruktvalidität den Methodenteil tragen. Argumentiert wird dort, gerechnet eher nicht.
Inhaltsvalidität: Deckt der Fragebogen das Merkmal ab?
Inhaltsvalidität gibt an, inwieweit ein Test oder ein einzelnes Item das zu messende Merkmal repräsentativ erfasst. Belegt wird sie über die fachliche Herleitung der Fragen und über das Urteil mehrerer Fachleute zu Relevanz, Repräsentativität, Genauigkeit und Klarheit. Die Universität Wien stellt für Prüfungen die gleiche Frage und fragt, ob eine Prüfung den Umfang der Studienziele repräsentativ abdeckt.
Kriteriumsvalidität: Lässt sich auf etwas außerhalb schließen?
Kriteriumsvalidität liegt vor, wenn vom Verhalten in der Testsituation erfolgreich auf ein Kriterium außerhalb der Testsituation geschlossen werden kann. Ein gleichzeitig vorliegendes Kriterium ergibt Übereinstimmungsvalidität, ein zukünftiges Vorhersagevalidität. Beispiel für den zweiten Fall: ein Aufnahmeverfahren, dessen Ergebnis mit dem späteren Studienerfolg zusammenhängt.
Konstruktvalidität: Trägt der Schluss auf das dahinterliegende Merkmal?
Konstruktvalidität liegt vor, wenn der Rückschluss vom Antwortverhalten auf das dahinterliegende Merkmal wissenschaftlich fundiert ist. Als Argumente dienen Korrelationen in zwei Richtungen: hoch mit Verfahren zum gleichen Merkmal (konvergente Validität), niedrig mit Verfahren zu einem bewusst anderen (diskriminante Validität). Die neuere Testtheorie behandelt Konstruktvalidität als Dach über allen Belegarten.
Verbreitet ist auch eine Liste mit fünf Arten, ergänzt um Expertenvalidität und Known-Groups-Validität. Eigene Arten sind das keine, sondern Belegwege: Das Urteil von Fachleuten stützt die Inhaltsvalidität, der Vergleich mit einer Gruppe, deren Unterschied vorab bekannt ist, stützt die Konstruktvalidität. Im Methodenteil geraten sonst Verfahren und Validitätsart in eine gemeinsame Aufzählung.
Interne und externe Validität betreffen das Design
Interne und externe Validität beurteilen nicht das Messinstrument, sondern die Anlage der Untersuchung. Interne Validität fragt, ob eine Aussage über Ursache und Wirkung innerhalb der Studie hält, also ob tatsächlich die untersuchte Variable den Effekt ausgelöst hat und keine dritte. Externe Validität fragt nach der Reichweite: Gilt das Ergebnis auch für andere Personengruppen, andere Situationen und andere Zeitpunkte? Lydia Repke, Lukas Birkenmaier und Clemens M. Lechner legen beides in der GESIS Survey Guideline zur Validität (2024) auseinander.
Interne und externe Validität stehen in Spannung zueinander. Die Guideline notiert, dass interne und externe Validität in der Forschung üblicherweise als umgekehrt zueinander angenommen werden, ohne dass daraus ein zwingender Gegensatz folgt. Ein Laborexperiment hält Störeinflüsse klein und den Alltag draussen. Eine Feldbefragung holt den Alltag herein, samt aller Einflüsse, die niemand steuert.
Bei einer Online-Umfrage läuft die Trennlinie klar: Die externe Validität entscheidet sich an der Stichprobe, die interne daran, ob sich Alternativerklärungen ausschließen lassen. Eine Befragung von 80 Studienkolleginnen, aus der eine Aussage über alle Studierenden Österreichs wird, scheitert an der Reichweite und nicht am Fragebogen. Das gewählte Forschungsdesign legt damit fest, welche der beiden Formen überhaupt beansprucht werden kann.
Kostenlos Umfrage erstellen
Mit empirio.ai erstellst du in wenigen Minuten eine moderne Online-Umfrage – mit Hosting in der EU.
- Umfrage per KI
- Per Drag & Drop anpassen
- Auswertung in Echtzeit
Warum es keinen Validitätswert zum Berichten gibt
Ein Gegenstück zum Reliabilitätskoeffizienten fehlt in der Testtheorie. Validität erscheint nicht als Zahl im Ergebnisteil, sondern als Begründung im Methodenteil, und nur ein Ausschnitt davon ist rechenbar. Die Suche nach dem Wertebereich der Validität geht deshalb ins Leere.
Rechenbar ist die Kriteriumsvalidität, weil sie als Korrelation zwischen Testwert und Kriterium vorliegt. Zur Einordnung solcher Korrelationen nennt die GESIS Survey Guideline grobe Richtwerte: klein (0,10), mittel (0,30), groß (0,50). Als Schwellenwert für Gültigkeit taugen diese Zahlen nicht, wohl aber als Lesehilfe.
| Art | Beleg | Passt bei |
|---|---|---|
| Inhaltsvalidität | fachliche Herleitung und Urteil von Fachleuten | nahezu jeder Abschlussarbeit |
| Konstruktvalidität | Korrelationen mit ähnlichen und unähnlichen Verfahren | selbst entwickelten Skalen |
| Kriteriumsvalidität | Korrelation mit einem unabhängigen Kriterium | vorhandenem Außenkriterium |
| Interne Validität | Kontrolle von Alternativerklärungen | Experimenten und Wirkungsfragen |
| Externe Validität | Stichprobenziehung und Erhebungssituation | Aussagen über eine Grundgesamtheit |
Achtung
Ein Validitätswert ohne eigenes Verfahren gehört nicht in die Arbeit. In der Defensio wird der Methodenteil verteidigt und nicht die Kennzahl: Eine hergeleitete Inhaltsvalidität plus offen benannte Grenze der Stichprobe trägt dort deutlich weiter!
Validität erhöhen und zwei Verwechslungen vermeiden
Entschieden wird Validität bei der Operationalisierung, also dort, wo aus einem abstrakten Begriff konkrete Fragen entstehen. Nach dem Feldstart ist nichts mehr zu retten: Eine Frage, die neben dem Merkmal liegt, bleibt neben dem Merkmal, unabhängig von der Zahl der Antworten.
Zwei Verwechslungen kosten in Methodenteilen regelmäßig Punkte. Die erste betrifft Cronbachs Alpha: Ein hoher Wert belegt Genauigkeit und keine Gültigkeit. Eine Skala darf in sich vollkommen konsistent sein und dennoch soziale Erwünschtheit anstelle der eigenen Einstellung erfassen.
Die zweite Verwechslung betrifft das Kriterium. Gemeint ist damit ein unabhängig erhobenes Merkmal außerhalb der Testsituation, etwa eine Beurteilung, ein Verkaufsergebnis oder eine ärztliche Diagnose. Ein Abgleich der eigenen Umfrageergebnisse mit der Literatur prüft die Plausibilität der Befunde, nicht die Kriteriumsvalidität des Instruments.
Was die Gültigkeit deiner Messung sichert
- Die Hypothese steht vor der ersten Frage.
- Jede Frage gehört zu einer Dimension der Fragestellung.
- Mehrere Fragen treffen dasselbe Merkmal aus verschiedenen Richtungen.
- Ein kognitives Interview klärt, wie die Zielgruppe die Fragen liest.
- Fachleute sehen den Fragenkatalog vor dem Versand durch.
- Die Grenzen der Stichprobe stehen im Methodenteil.
Fazit
Unter den drei Gütekriterien sieht Validität am wenigsten nach Statistik aus und sagt am meisten über eine Arbeit. Berechnet wird sie nicht, begründet schon, und die Begründung entsteht beim Formulieren der Fragen. Wer die drei Arten trennt und die Reichweite seiner Stichprobe offenlegt, geht ruhig in die Defensio.
Keine Zahl belegt Validität. Die Herleitung der Fragen belegt sie.
Wie es weitergeht
- Du willst alle drei Gütekriterien nebeneinander sehen? Objektivität, Reliabilität, Validität im Vergleich
- Du brauchst die Messgenauigkeit? Was bedeutet Reliabilität?
- Du suchst das dritte Kriterium? Was bedeutet Objektivität?
- Du willst deine Stichprobe begründen? Wann ist meine Online-Umfrage repräsentativ?
- Du willst den ganzen Ablauf im Blick haben? Empirische Forschung: Definition, Methoden, Leitfaden
Unser Literaturtipp: Für die österreichische Praxis lohnen die Statistischen Nachrichten 2/2016 von Statistik Austria, dort stehen die vier Testverfahren mit Beispielen aus dem Mikrozensus. Die Systematik der Validitätsarten führt Kapitel 2 von Moosbrugger, Helfried und Kelava, Augustin (Hrsg.) (2012): Testtheorie und Fragebogenkonstruktion, 2. Auflage, Springer, als Leseprobe frei zugänglich.
Du willst deine Fragen prüfen, bevor die Erhebung startet?
Mit empirio.ai, einem Online-Umfrage-Tool aus Deutschland, legst du deinen Fragebogen kostenlos an und schickst ihn zuerst an wenige Personen für ein kognitives Interview.