Was bedeutet Validität? Definition und Beispiel

Eine Statistik-Klausur besteht aus zwanzig Fragen, aber nur sieben davon behandeln den Stoff aus der Vorlesung. Die Noten fallen schlecht aus. Gemessen wurde in dieser Klausur nicht der Lernerfolg im Semester, sondern das Vorwissen der Studierenden.

Validität ist die Gültigkeit einer Messung: Ein Fragebogen, ein Test oder eine Klausur gilt als valide, wenn er genau das Merkmal erfasst, um das es in der Forschungsfrage geht, und nicht versehentlich ein anderes, denn erst dann sagen die Ergebnisse etwas über die Frage aus, die du eigentlich gestellt hast. Nach diesem Beitrag kannst du begründen, welche Art der Validität deine eigene Erhebung erfüllt und welche du offenlassen musst.

📌 Das Wichtigste im Überblick

• Validität heißt: Gemessen wird wirklich das gemeinte Merkmal.
• Inhalts-, Kriteriums- und Konstruktvalidität sind die drei Hauptarten.
• Für Validität gibt es keine einzelne Kennzahl.
• Interne Validität betrifft den Ursachenschluss, externe die Übertragbarkeit.
• Ohne Reliabilität kann eine Messung nicht valide sein.

Validität ist Gültigkeit: die Definition in einem Satz

Validität ist die Gültigkeit einer Messung. Ein Test gilt nach Moosbrugger und Kelava (2012) dann als valide, wenn er das Merkmal, das er messen soll, auch wirklich misst und nicht irgendein anderes.

In der quantitativen Forschung zählt Validität zu den drei Hauptgütekriterien, neben Objektivität und Reliabilität. Anders als Objektivität und Reliabilität hängt Validität nicht am Ablauf einer Erhebung, sondern an ihrer Konstruktion: Ein einwandfrei durchgeführter Fragebogen kann am Thema vorbeimessen.

Valide heißt das Adjektiv zum Begriff. Stammen die Fragen der Klausur aus einem früheren Studiengang und deckt nur ein Drittel den behandelten Stoff ab, dann ist sie nicht valide: Das Testinstrument erfasst etwas anderes als das, was es erfassen soll, und die Note sagt wenig über den Lernerfolg aus.

Validität setzt Reliabilität voraus, und zwar nur in diese Richtung. Moosbrugger und Kelava schreiben, dass ein Test mit niedriger Reliabilität keine hohe Validität haben kann. Eine zuverlässige Messung kann trotzdem am Thema vorbeigehen, eine unzuverlässige aber nie gültig sein.

Wie die Validität wissenschaftlich geprüft wird: drei Arten

Geprüft wird die Validität nicht mit einem Verfahren, sondern über Belege verschiedener Art. In der Testtheorie sind drei Arten gebräuchlich und sie unterscheiden sich darin, woran die Messung geprüft wird: am eigenen Inhalt, an einem äußeren Kriterium oder an der Theorie hinter dem Merkmal.

Für eine Abschlussarbeit ist die Auswahl schnell getroffen. Ein unabhängiges Vergleichskriterium liegt selten vor, deshalb tragen Inhalts- und Konstruktvalidität den Methodenteil und beide werden begründet statt gerechnet.

Inhaltsvalidität: Deckt der Fragebogen das Merkmal ab?

Inhaltsvalidität gibt an, inwieweit ein Test oder ein einzelnes Item das zu messende Merkmal repräsentativ erfasst. Gerechnet wird nichts. Belegt wird sie über die fachliche Herleitung der Fragen und über ein Urteil mehrerer Fachleute zu Relevanz, Repräsentativität, Genauigkeit und Klarheit der Items. Genau dieses formalisierte Expertenurteil empfiehlt die GESIS Survey Guideline zur Validität.

Kriteriumsvalidität: Lässt sich auf etwas außerhalb schließen?

Kriteriumsvalidität liegt vor, wenn vom Verhalten in der Testsituation erfolgreich auf ein Kriterium außerhalb der Testsituation geschlossen werden kann. Liegt das Kriterium gleichzeitig vor, heißt das Übereinstimmungsvalidität, liegt es in der Zukunft, Vorhersagevalidität. Ein Eignungstest, dessen Ergebnis mit dem späteren Studienerfolg zusammenhängt, hat Vorhersagevalidität.

Konstruktvalidität: Trägt der Schluss auf das dahinterliegende Merkmal?

Konstruktvalidität liegt vor, wenn der Rückschluss vom Antwortverhalten auf das dahinterliegende Merkmal wissenschaftlich fundiert ist. Belegt wird sie über Zusammenhänge: hohe Korrelationen mit Verfahren, die dasselbe messen (konvergente Validität), und niedrige mit Verfahren, die bewusst etwas anderes messen (diskriminante Validität). In der neueren Testtheorie gilt Konstruktvalidität als Oberbegriff für alle Belegarten und nicht als eine von dreien.

Häufig liest man von fünf Arten, mit Expertenvalidität und Known-Groups-Validität als vierter und fünfter. Beide sind keine eigenen Arten, sondern Wege, Inhalts- und Konstruktvalidität zu belegen: Das Urteil von Fachleuten stützt die Inhaltsvalidität, der Vergleich mit einer Gruppe, deren Unterschied man vorab kennt, stützt die Konstruktvalidität. Für den Methodenteil zählt der Unterschied, weil Verfahren und Validitätsart sonst in einer Liste landen.

Interne und externe Validität: zwei Fragen an das Studiendesign

Interne und externe Validität bewerten nicht das Messinstrument, sondern das Untersuchungsdesign. Interne Validität betrifft die Frage, ob eine Aussage über Ursache und Wirkung innerhalb der Studie trägt, also ob wirklich die untersuchte Variable den Effekt erzeugt hat und nicht eine dritte. Externe Validität betrifft die Frage, ob sich die Ergebnisse verallgemeinern lassen, auf andere Personengruppen, Situationen und Zeitpunkte. So beschreiben es Lydia Repke, Lukas Birkenmaier und Clemens M. Lechner in der GESIS Survey Guideline zur Validität (2024).

Interne und externe Validität ziehen in verschiedene Richtungen. Die Guideline hält fest, dass interne und externe Validität üblicherweise als umgekehrt zueinander angenommen werden, auch wenn das kein zwingender Gegensatz ist. Ein Laborexperiment kontrolliert Störeinflüsse gut und ähnelt dem Alltag wenig. Eine Befragung im Feld ist lebensnah, aber voller Einflüsse, die niemand kontrolliert.

Für eine Online-Umfrage lässt sich das aufteilen: Die externe Validität hängt an der Stichprobe, die interne daran, ob Alternativerklärungen ausgeschlossen werden können. Wer 80 Kommilitonen befragt und daraus auf alle Studierenden in Deutschland schließt, hat ein Problem mit der externen Validität und nicht mit dem Fragebogen. Welches Forschungsdesign du wählst, entscheidet also mit, welche der beiden Formen überhaupt in Frage kommt.

Welchen Wert Validität hat: warum es keine einzelne Kennzahl gibt

Einen Validitätskoeffizienten, wie es den Reliabilitätskoeffizienten gibt, kennt die Testtheorie nicht. Validität wird nicht in einer Zahl berichtet, sondern über Belege begründet und nur ein Teil davon lässt sich rechnen. Wer nach dem Wertebereich der Validität sucht, sucht etwas, das es nicht gibt.

Rechnen lässt sich die Kriteriumsvalidität, denn sie ist die Korrelation zwischen Testwert und Kriterium. Für die Einordnung solcher Korrelationen nennt die GESIS Survey Guideline die groben Richtwerte klein (0,10), mittel (0,30) und groß (0,50). Eine Schwelle für Validität sind diese Zahlen nicht, sondern eine Lesehilfe für Korrelationen.

Validität erhöhen: was du vor der Erhebung entscheidest

Validität entsteht bei der Operationalisierung, also in dem Moment, in dem aus einem abstrakten Begriff konkrete Fragen werden. Nach der Erhebung lässt sie sich nicht mehr reparieren: Eine Frage, die am Merkmal vorbeifragt, bleibt eine solche Frage, egal wie viele Antworten eingehen.

Der wirksamste einzelne Schritt ist der Pretest. Fünf bis zehn Personen aus der Zielgruppe füllen den Fragebogen aus und sagen danach, wie sie jede Frage verstanden haben. Die Abweichungen zwischen gemeintem und verstandenem Inhalt sind die Stellen, an denen Gültigkeit verloren geht, und sie fallen in keiner Kennzahl auf.

Was die Gültigkeit deiner Messung sichert

• Die Hypothese steht, bevor die erste Frage formuliert wird.
• Jede Frage lässt sich einer Dimension der Fragestellung zuordnen.
• Mehrere Fragen erfassen dasselbe Merkmal aus verschiedenen Richtungen.
• Ein Pretest prüft, wie die Zielgruppe die Fragen versteht.
• Fachleute beurteilen den Fragenkatalog vor dem Versand.
• Die Grenzen der Stichprobe stehen im Methodenteil.

Typische Fehler bei der Validität

Bei der Validität kosten nicht Rechenfehler Punkte, sondern Verwechslungen. Drei davon stehen so häufig in Methodenteilen, dass sie kaum noch auffallen, bis in der Verteidigung jemand nachfragt.

Alle drei Verwechslungen haben dieselbe Ursache. Validität wird behandelt wie eine Eigenschaft, die man am Ende feststellt, so wie einen Mittelwert. Entschieden wird sie aber vorher, beim Formulieren der Fragen.

Eine hohe Reliabilität wird als Beleg für Validität genommen

Ein hoher Wert für Cronbachs Alpha belegt keine Validität. Eine Skala kann in sich vollkommen konsistent sein und trotzdem ein anderes Merkmal erfassen als gemeint, etwa soziale Erwünschtheit statt der eigenen Einstellung. Der Satz, dass ein Test mit niedriger Reliabilität keine hohe Validität haben kann, gilt nur in einer Richtung und nicht umgekehrt.

Interne Validität und Inhaltsvalidität werden vermischt

Interne Validität bewertet, ob ein Ursachenschluss innerhalb der Studie trägt. Inhaltsvalidität bewertet, ob die Fragen das Merkmal abdecken. Wer in einer reinen Befragung ohne Experiment von hoher interner Validität schreibt, weil der Fragebogen sorgfältig formuliert ist, verwendet den Begriff falsch: Ohne Ursachenfrage gibt es nichts, was intern valide sein könnte.

Ein Kriterium wird mit einer zweiten Quelle verwechselt

Ein Kriterium ist ein unabhängig erhobenes Merkmal außerhalb der Testsituation, etwa eine Note, ein Verkaufsergebnis oder eine ärztliche Diagnose. Fachartikel zum gleichen Thema sind kein Kriterium. Wer die eigenen Umfrageergebnisse mit der Literatur vergleicht, prüft die Plausibilität seiner Befunde und nicht die Kriteriumsvalidität seines Instruments.

Fazit

Validität ist das Gütekriterium, das am wenigsten nach Statistik aussieht und am meisten über eine Arbeit verrät. Sie wird nicht berechnet, sondern begründet und die Begründung entsteht beim Formulieren der Fragen, nicht bei der Auswertung. Wer die drei Arten auseinanderhält und die Grenzen der Stichprobe offen benennt, hat den Methodenteil an seiner schwierigsten Stelle im Griff.

Eine Zahl belegt Validität nicht. Die Herleitung der Fragen belegt sie.

Wie es weitergeht

• Du willst alle drei Gütekriterien nebeneinander sehen? Objektivität, Reliabilität, Validität im Vergleich
• Du brauchst die Messgenauigkeit? Was bedeutet Reliabilität?
• Du suchst das dritte Kriterium? Was bedeutet Objektivität?
• Du willst deine Stichprobe begründen? Wann ist meine Online-Umfrage repräsentativ?
• Du willst den ganzen Ablauf im Blick haben? Empirische Forschung: Definition, Methoden, Leitfaden

Unser Literaturtipp: Repke, Lydia, Birkenmaier, Lukas und Lechner, Clemens M. (2024): Validity in Survey Research. From Research Design to Measurement Instruments. GESIS Survey Guidelines, Mannheim. Der Text trennt Designvalidität und Messvalidität sauber. Auf Deutsch führt Kapitel 2 von Moosbrugger, Helfried und Kelava, Augustin (Hrsg.) (2012): Testtheorie und Fragebogenkonstruktion, 2. Auflage, Springer, durch die Arten der Validität, als Leseprobe frei zugänglich.

Du willst deine Fragen testen, bevor die eigentliche Erhebung startet?

Mit empirio.ai, einem Online-Umfrage-Tool aus Deutschland, erstellst du deinen Fragebogen kostenlos und verschickst ihn erst an wenige Personen für den Pretest.

Umfrage kostenlos erstellen