Objektivität, Reliabilität, Validität: Definition, Beispiel

Zwei Personen am Institut werten denselben Datensatz aus und legen am Ende zwei verschiedene Zahlen vor. Objektivität, Reliabilität und Validität entscheiden darüber, ob so etwas überhaupt passieren kann.

Gütekriterien prüfen die Qualität eines Messinstruments, und die österreichische Gutachterrichtlinie stellt der bekannten Trias zwei weitere gleichrangig zur Seite. Objektivität heißt, dass das Ergebnis nicht davon abhängt, wer die Erhebung leitet, auswertet und deutet. Reliabilität heißt, dass ein Instrument präzise misst, also mit einem möglichst geringen Messfehler. Validität heißt, dass dein Fragebogen genau jenes Merkmal erfasst, das du untersuchen willst. Nach diesem Beitrag kannst du für deine Diplomarbeit begründen, welche Kriterien du erfüllst und wo deine Erhebung an Grenzen stößt.

📌 Das Wichtigste im Überblick

• Objektivität heißt: Das Ergebnis hängt nicht an der auswertenden Person.
• Reliabilität heißt: Das Instrument misst mit geringem Messfehler.
• Validität heißt: Erfasst wird das Merkmal, um das es geht.
• Österreich zählt Fairness und Zumutbarkeit gleichrangig dazu.
• Die Gutachterrichtlinie nennt fünf Kriterien plus vier weitere.

Objektivität, Reliabilität, Validität: welche Gütekriterien in Österreich gelten

Objektivität, Reliabilität und Validität bilden den Kern jeder Qualitätsprüfung eines Messinstruments, und sie beantworten drei getrennte Fragen: Läuft die Erhebung unabhängig von der durchführenden Person ab, misst sie genau, und misst sie das Gemeinte?

Die Reihenfolge der drei Kriterien ist an dieser Stelle kein Zufall, sondern eine Abhängigkeit. Wer in der quantitativen Forschung bei jedem Auswertungsdurchgang zu einem anderen Wert kommt, kann gar nicht genau messen, und wer ungenau misst, kann nichts Gültiges behaupten. Genau dieser Aufbau trägt die gesamte Systematik und bekommt in diesem Beitrag ein eigenes Kapitel.

Für Österreich ist diese Aufzählung nicht bloß Lehrbuchwissen, sondern behördlich festgehalten. Die Gutachterrichtlinie des Bundesministeriums für Soziales, Gesundheit, Pflege und Konsumentenschutz nennt in ihrer 4. Fassung von Juni 2020 Objektivität, Reliabilität, Validität, Fairness und Zumutbarkeit als psychometrische Gütekriterien standardisierter psychologischer Erhebungsmethoden. Als weitere Gütekriterien führt die Richtlinie Eichung, Ökonomie, Nützlichkeit und Unverfälschbarkeit an und verweist dafür auf Kubinger (2019). Nachzulesen ist das in der Gutachterrichtlinie des Sozialministeriums.

Warum Fairness und Zumutbarkeit in Österreich gleichrangig zählen

Fairness und Zumutbarkeit stehen in der österreichischen Gutachterrichtlinie in derselben Aufzählung wie die drei bekannten Kriterien, ohne Rangunterschied. Dahinter steht die Wiener Tradition der psychologischen Diagnostik um Klaus D. Kubinger, auf den die Richtlinie ausdrücklich verweist. Deutsche Darstellungen führen Fairness dagegen meist unter den Nebengütekriterien, also nachgeordnet. Für deine Diplomarbeit heißt das konkret: Nenne fünf Kriterien statt drei und begründe in wenigstens zwei Sätzen, warum dein Fragebogen niemanden benachteiligt und wie lange das Ausfüllen dauert.

Österreich hat kein eigenes Testkuratorium

Ein eigenes Prüfgremium für psychologische Testverfahren gibt es in Österreich nicht. Die Gutachterrichtlinie verweist deshalb auf das deutsche Diagnostik- und Testkuratorium sowie auf die Testrezensionen des ZPID. Denselben Weg geht die Normung: Die ÖNORM D 4000:2017-12-15 zur Auswahl und Entwicklung von Personal führt die deutsche DIN 33430:2016-07 als normative Verweisung, Österreich übernimmt die Norm also formal. Wer in der Defensio nach den geltenden Standards gefragt wird, kann genau das sagen, statt zu improvisieren.

Als Lehrbuch bleibt „Testtheorie und Fragebogenkonstruktion“ von Helfried Moosbrugger und Augustin Kelava (Springer, 2012) auch an österreichischen Instituten die geläufige Referenz; dort stehen zehn Gütekriterien. Tragend ist für eine österreichische Arbeit dennoch die Richtlinie, weil sie die hiesige Praxis abbildet. Welche Kriterien in beiden Forschungslogiken nebeneinanderstehen, steht im Beitrag zu den Gütekriterien empirischer Forschungsmethoden.

Objektivität: Bleibt das Ergebnis gleich, egal wer den Fragebogen einsetzt?

Objektivität liegt vor, wenn ein Verfahren das gemessene Merkmal unabhängig von Testleitung und Auswertung erfasst und wenn für die Deutung anwenderunabhängige Regeln vorliegen. Praktisch bedeutet das, dass die durchführende Person keinen Spielraum bekommt.

Online-Befragungen erfüllen dieses Kriterium leichter als jedes mündliche Verfahren, weil zwischen Forschung und Befragten kein Gespräch stattfindet. Deshalb greifen so viele Studierende an österreichischen Instituten zur standardisierten Online-Erhebung. Unterschieden werden drei Aspekte der Objektivität, und in einer Diplomarbeit gehört jeder davon einzeln begründet.

Durchführungsobjektivität: für alle Befragten dieselben Bedingungen

Durchführungsobjektivität ist erreicht, wenn das Ergebnis nicht davon abhängt, wer die Erhebung leitet. Standardisierung ist der Hebel: Instruktion, Reihenfolge, Zeitvorgaben und Antwortformate liegen vorab fest und ändern sich zwischen zwei Teilnehmenden nicht. Als Ideal gilt, dass die befragte Person die einzige Quelle von Variation in der Situation bleibt. Ein Fragebogen, der per Link verschickt wird und für alle identisch aussieht, erfüllt das nahezu von selbst.

Auswertungsobjektivität: gleiche Antworten führen zur gleichen Zahl

Auswertungsobjektivität ist erreicht, wenn verschiedene Personen aus identischen Antworten dasselbe Ergebnis gewinnen. Bei geschlossenen Fragen gibt es nichts zu deuten, die Zuordnung ist eindeutig. Sobald offene Fragen hinzukommen, sinkt dieser Wert, weil Freitexte in Kategorien überführt werden müssen. Ausschlussgrund ist das keiner, doch der Kategorienplan gehört dokumentiert und vor dem ersten Lesen der Antworten festgelegt.

Interpretationsobjektivität: gleiche Werte führen zur gleichen Schlussfolgerung

Interpretationsobjektivität ist erreicht, wenn Fachleute aus demselben Zahlenwert dieselbe Schlussfolgerung ziehen. In der Praxis bleibt sie der schwächste der drei Aspekte, denn dafür bräuchte es Normwerte oder klar begründete Schwellen. Bei einer eigenen Erhebung ohne Eichstichprobe existieren solche Normen schlicht nicht. Was du stattdessen tun kannst: die Interpretationsregeln vorab festhalten und im Methodenteil nennen, statt sie nachträglich am Ergebnis auszurichten.

💡 Tipp

Lege den Kategorienplan für offene Fragen fest, bevor du die erste Antwort liest. Wer die Kategorien am Datensatz entwickelt, kann nicht mehr ausschließen, dass sie zum erhofften Ergebnis passen. Genau danach wird in der Defensio gerne gefragt.

Reliabilität: Wie genau misst dein Fragebogen?

Reliabilität bezeichnet die Messgenauigkeit eines Verfahrens. Ein Instrument gilt als reliabel, wenn es das erfasste Merkmal ohne Messfehler erfasst, und ausgedrückt wird das im Reliabilitätskoeffizienten, der zwischen 0 und 1 liegt.

Ein Wert von 1 stünde für eine Messung ganz ohne Fehleranteil, ein Wert von 0 dafür, dass ausschließlich Messfehler den Wert erzeugt haben. Moosbrugger und Kelava (2012) schreiben, der Reliabilitätskoeffizient eines guten Tests sollte 0,7 nicht unterschreiten. Diese Zahl kursiert im Netz meist ohne Beleg. Sie steht in Kapitel 2 des Lehrbuchs als Soll-Angabe und nicht als Grenzwert, ab dem eine Skala unbrauchbar wäre.

Vier Verfahren sind in der Klassischen Testtheorie gebräuchlich, um die Reliabilität zu bestimmen. Welches davon für deine Arbeit infrage kommt, entscheidet weniger die Statistik als die Frage, ob du deine Befragten ein zweites Mal erreichst.

Als Königsweg gilt die Paralleltest-Reliabilität, weil sie Übungs- und Erinnerungseffekte ausschaltet. Für eine Diplom- oder Masterarbeit scheitert sie an der Voraussetzung, zwei Fragebogenversionen mit denselben wahren Werten zu bauen. Übrig bleibt fast immer die innere Konsistenz.

Cronbachs Alpha: was der Wert leistet und was nicht

Cronbachs Alpha beschreibt, wie eng die Items einer Skala untereinander zusammenhängen, und misst damit die innere Konsistenz. Verbreitet ist der Wert vor allem deshalb, weil jede Statistiksoftware ihn ausgibt, und überinterpretiert wird er entsprechend oft. Ein hoher Alpha-Wert belegt nämlich nicht, dass eine Skala nur ein einziges Merkmal erfasst, und er wächst schon dadurch, dass eine Skala mehr Items bekommt.

Streng ist auch die Annahme dahinter: Alle Items sollen gleich stark auf dasselbe Merkmal laden. Trifft das nicht zu, unterschätzt Alpha die tatsächliche Reliabilität. Klaas Sijtsma hat diese Einschränkungen 2009 in der Fachzeitschrift Psychometrika ausführlich dargelegt, und als Alternative wird seitdem häufig McDonalds Omega genannt. Für deine Arbeit folgt daraus nicht, dass du Omega rechnen musst. Es folgt daraus, dass du Alpha mit einem Halbsatz einordnest, statt es als Beweis zu präsentieren.

Validität: Trifft der Fragebogen wirklich das gemeinte Merkmal?

Validität liegt vor, wenn ein Verfahren jenes Merkmal erfasst, das es erfassen soll, und kein anderes. Für die Testpraxis gilt sie als das wichtigste Gütekriterium überhaupt, weil von ihr die Aussagekraft sämtlicher Ergebnisse abhängt.

Anders als bei der Reliabilität existiert keine einzelne Kennzahl, die Validität belegt. Zusammengetragen wird sie aus mehreren Belegarten, und je nach Anwendungsfall ist nur ein Teil davon überhaupt prüfbar. Vier Aspekte werden unterschieden, und genau so sollten sie auch im Methodenteil heißen.

• Inhaltsvalidität: Decken die Items den Merkmalsbereich repräsentativ ab? Beantwortet wird das durch fachliche Überlegung und Expertenurteil, nicht durch Rechnung.
• Augenscheinvalidität: Wirkt der Anspruch des Verfahrens auf fachfremde Personen plausibel? Betroffen ist damit die Akzeptanz, nicht die Aussagekraft.
• Konstruktvalidität: Trägt der Schluss vom Antwortverhalten auf das dahinterliegende Merkmal theoretisch? Belegt wird er über Zusammenhänge mit ähnlichen und mit bewusst unähnlichen Verfahren.
• Kriteriumsvalidität: Lässt sich vom Testwert auf Verhalten außerhalb der Testsituation schließen? Liegt das Kriterium gleichzeitig vor, heißt es Übereinstimmungsvalidität, liegt es in der Zukunft, Vorhersagevalidität.

Der häufigste Fehler: Inhaltsvalidität ist nicht Augenscheinvalidität

Häufig liest man, Inhaltsvalidität und Augenscheinvalidität bezeichneten dasselbe. Zutreffend ist das nicht, und Moosbrugger und Kelava benennen die Verwechslungsgefahr im Lehrbuch ausdrücklich. Unterschieden wird danach, wer urteilt und woraufhin: Inhaltsvalidität ist ein Fachurteil über die Abdeckung des Merkmalsbereichs, Augenscheinvalidität der Eindruck fachfremder Personen, dass ein Verfahren plausibel aussieht. Ein Fragebogen kann also überzeugend wirken und trotzdem am Merkmal vorbeimessen.

⚠️ Achtung

Schreibe in deiner Arbeit nie „Inhaltsvalidität beziehungsweise Augenscheinvalidität“. Wer beide Begriffe gleichsetzt, öffnet in der Defensio eine Flanke, die jede Betreuung aus der Methodenlehre sofort erkennt. Nenne die Inhaltsvalidität als das, was du fachlich begründest, und die Augenscheinvalidität höchstens als Argument für die Akzeptanz bei den Befragten.

Interne und externe Validität gehören zu einer anderen Systematik

Interne und externe Validität stammen aus der Bewertung von Untersuchungsdesigns, nicht aus der Testtheorie. Beantwortet wird damit, ob ein Ursachenschluss innerhalb einer Studie trägt und ob die Ergebnisse über sie hinaus gelten. Unterarten der Inhalts- oder Konstruktvalidität sind sie nicht, auch wenn viele Zusammenfassungen sie so einsortieren. Wer beide Systematiken vermischt, verliert genau jene Genauigkeit, die im Methodenteil bewertet wird.

Objektivität, Reliabilität, Validität: wie die drei zusammenhängen

Reliabilität ist die Voraussetzung für Validität, und diese Abhängigkeit gilt nur in eine Richtung. Moosbrugger und Kelava halten fest, dass Objektivität und Reliabilität lediglich günstige Voraussetzungen für eine hohe Validität schaffen und dass ein Verfahren mit niedriger Reliabilität keine hohe Validität erreichen kann.

Die Aussage der beiden Autoren wirkt unscheinbar und trägt trotzdem die ganze Systematik. Eine zuverlässige Messung kann am Thema vorbeigehen, eine unzuverlässige Messung dagegen niemals gültig sein. Die Objektivität geht dem in der Praxis voraus, weil eine Erhebung mit großem Auswertungsspielraum kaum stabile Werte liefert. Als formale Bedingung ist das im Lehrbuch allerdings nicht formuliert, anders als die Beziehung zwischen Reliabilität und Validität.

Eine Personenwaage, die konstant zwei Kilogramm zu viel anzeigt, macht den Unterschied greifbar. Objektiv ist sie, weil sie bei jeder Person nach denselben Regeln arbeitet, und reliabel ist sie, weil drei Messungen hintereinander denselben Wert ergeben. Valide ist sie trotzdem nicht, denn sie misst systematisch daneben. Genau dieser Fall, hohe Reliabilität bei niedriger Validität, ist in Fragebögen der häufigste und fällt in den Kennzahlen nicht auf.

Was daraus für die Reihenfolge im Methodenteil folgt

• Kläre zuerst, ob die Erhebung für alle gleich abläuft.
• Prüfe danach die innere Konsistenz deiner Skalen.
• Begründe zuletzt die Abdeckung des Merkmalsbereichs.
• Ergänze Fairness und Zumutbarkeit als eigene Punkte.
• Berichte einen schwachen Wert, statt ihn wegzulassen.

Ein reliabler Fragebogen misst zuverlässig. Ob er das Richtige misst, steht damit noch nicht fest.

Gelten Objektivität, Reliabilität und Validität auch qualitativ?

Objektivität, Reliabilität und Validität sind für standardisierte Messungen entwickelt worden und lassen sich auf qualitative Verfahren nicht unverändert übertragen. Ein Leitfadeninterview soll gerade nicht bei jeder Wiederholung dasselbe ergeben, weil es auf die einzelne Person eingeht.

Entstanden sind in der qualitativen Sozialforschung deshalb eigene Kriterienkataloge. Am bekanntesten ist der Vorschlag von Yvonna Lincoln und Egon Guba aus „Naturalistic Inquiry“ (Sage, 1985) mit Glaubwürdigkeit, Übertragbarkeit, Verlässlichkeit und Bestätigbarkeit. Im deutschsprachigen Raum wird daneben häufig auf die Kernkriterien von Ines Steinke verwiesen, die die intersubjektive Nachvollziehbarkeit des Vorgehens in den Mittelpunkt stellen.

Praktisch bleibt die Folge für deine Arbeit überschaubar. Wer qualitativ erhebt, schreibt nicht über Cronbachs Alpha, sondern dokumentiert Auswahl, Ablauf und Auswertung so genau, dass eine andere Person den Weg nachvollziehen kann.

Gütekriterien in der Diplomarbeit: wohin sie in der Gliederung gehören

Gütekriterien haben in einer Diplomarbeit keinen fixen Platz in der Gliederung. Üblich sind zwei Varianten, und beide sind vertretbar: ein eigener Unterpunkt im Kapitel zum Forschungsdesign oder ein Abschnitt in der Reflexion des eigenen Vorgehens.

Welche der beiden passt, hängt davon ab, wie stark die Methodenwahl für deine Forschungsfrage begründungsbedürftig ist. Steht die Methode im Zentrum, gehören die Kriterien nach vorn ins Design. Geht es stärker um inhaltliche Erkenntnisse, wirken sie in der Reflexion natürlicher. Kläre das im Zweifel mit deiner Betreuung, denn manche Institute in Österreich haben dazu eine feste Erwartung.

Variante 1: Gütekriterien als eigener Unterpunkt im Forschungsdesign

Variante 1 passt, wenn du deine Methodenwahl ausführlich begründest und die Gütekriterien Teil dieser Begründung sind. Der Vorteil ist, dass die Lesenden die Qualitätsfrage geklärt haben, bevor sie die Ergebnisse sehen. Der Preis ist, dass du an dieser Stelle noch nicht weißt, welche Skalen sich später als schwach erweisen, und deshalb mit einem Nachtrag rechnen musst. Für eine österreichische Arbeit lohnt sich hier zusätzlich ein eigener Absatz zu Fairness und Zumutbarkeit, weil beide in der Gutachterrichtlinie gleichrangig stehen.

1. Einleitung mit Forschungsfrage
2. Theorie und Forschungsstand
3. Forschungsdesign, darin: Hypothesen, Methodenwahl, Grundgesamtheit und Stichprobe, Variablen, Fragenkatalog, Gütekriterien mit je einem Unterpunkt für Objektivität, Reliabilität, Validität, Fairness und Zumutbarkeit
4. Datenerhebung
5. Datenauswertung
6. Ergebnisse
7. Reflexion des Vorgehens
8. Fazit

Variante 2: Gütekriterien als Abschnitt in der Reflexion des Vorgehens

Variante 2 passt, wenn du die Grenzen deiner Erhebung erst im Licht der Ergebnisse sauber benennen kannst. Der Aufbau bleibt derselbe, nur wandern die Gütekriterien in Punkt 7 und werden dort gemeinsam mit den Einschränkungen der Arbeit diskutiert. Der Vorteil liegt in der Ehrlichkeit, weil du über tatsächlich erreichte Werte schreibst statt über Absichten. Der Preis ist, dass die Methodenkritik weit hinten steht und leicht überlesen wird.

Bewertet wird in beiden Varianten dasselbe: nicht, ob eine Erhebung alle Kriterien erfüllt, sondern ob nachvollziehbar wird, welche erfüllt sind und wo die Grenzen liegen.

Typische Fehler bei den Gütekriterien

Abzüge im Methodenteil entstehen meist nicht durch schwache Kennzahlen, sondern durch Aussagen, die mehr behaupten, als die Daten hergeben. Drei Fehler tauchen besonders häufig auf.

Alle drei Fehler gehen auf dieselbe Ursache zurück: Ein Gütekriterium wird für etwas in Anspruch genommen, wofür es nicht gemacht ist. Wer die Kriterien sauber auseinanderhält, umgeht die Fehler fast von allein, und der Methodenteil wird dabei sogar kürzer statt länger.

Fehler 1: hohe Reliabilität als Beweis für Validität ausgeben

Ein Cronbachs Alpha von 0,89 zeigt, dass die Items einer Skala eng zusammenhängen. Über die Frage, ob diese Items das gemeinte Merkmal erfassen, sagt der Wert nichts. Wer nach dem Alpha-Wert schreibt, die Skala sei damit valide, zieht genau jenen Schluss, den die Testtheorie ausschließt. Ausweg ist ein zusätzlicher Absatz zur Inhaltsvalidität, in dem du die Abdeckung des Merkmalsbereichs begründest.

Fehler 2: Objektivität abhaken, weil die Umfrage online läuft

Eine Online-Umfrage sichert vor allem die Durchführungsobjektivität, weil alle Befragten dasselbe sehen. Auswertungs- und Interpretationsobjektivität bleiben davon unberührt. Sobald offene Fragen im Bogen stehen oder Schwellenwerte frei gewählt werden, entsteht wieder Spielraum. Ausweg ist, alle drei Aspekte getrennt zu benennen, statt Objektivität pauschal als erledigt zu betrachten.

Fehler 3: Fairness und Zumutbarkeit gar nicht erwähnen

Fairness und Zumutbarkeit fehlen in vielen Methodenteilen vollständig, obwohl die österreichische Gutachterrichtlinie sie gleichrangig neben die drei Hauptkriterien stellt. Zwei kurze Absätze genügen: einer dazu, ob Formulierungen oder Antwortformate eine Gruppe systematisch benachteiligen, und einer zur Bearbeitungsdauer und zur Belastung der Teilnehmenden. Wer diese beiden Punkte mitliefert, hebt sich in der Defensio erkennbar von Arbeiten ab, die nur die Trias abarbeiten.

Fazit

Objektivität, Reliabilität und Validität sind keine Hürden, sondern Fragen, die du beantwortest, und in Österreich kommen Fairness und Zumutbarkeit gleichrangig dazu. Vollständige Erfüllung ist auch in professionellen Studien die Ausnahme. Erwartet wird, dass du die Kriterien auseinanderhältst und offenlegst, wo deine Erhebung an Grenzen stößt.

Wie es weitergeht

• Du willst den Fragebogen selbst aufbauen? Fragebogen erstellen: Anleitung und Aufbau
• Du brauchst die Definition eines einzelnen Begriffs? Was bedeutet Validität? und Was bedeutet Reliabilität?
• Du suchst das passende Auswertungsverfahren? Auswertungsmethoden in der empirischen Forschung
• Du willst den ganzen Ablauf im Blick haben? Empirische Forschung: Definition, Methoden, Leitfaden

Unser Literaturtipp: Die Gutachterrichtlinie des Bundesministeriums für Soziales, Gesundheit, Pflege und Konsumentenschutz (4. Fassung, Juni 2020) ist frei abrufbar und nennt die Gütekriterien in jener Reihenfolge, die in Österreich erwartet wird; als Beleg führt sie Kubinger (2019). Wer die Trias klassisch nachlesen will, findet sie bei Moosbrugger und Kelava (2012) in Kapitel 2 als frei verfügbarer Leseprobe.

Soll deine Befragung von Anfang an standardisiert laufen?

Mit empirio.ai, einem Online-Umfrage-Tool aus Deutschland, bekommen alle Teilnehmenden denselben Fragebogen in derselben Reihenfolge. Damit ist die Durchführungsobjektivität weitgehend abgesichert. Auswertungs- und Interpretationsobjektivität bleiben deine Aufgabe, denn beide hängen an deinen Regeln und nicht am Werkzeug.

Jetzt eigene Umfrage starten