Eine Personenwaage, die bei drei Messungen hintereinander 68, 74 und 71 Kilogramm anzeigt, ist kein Fall für die Diät. Sie ist ein Fall für die Werkstatt. Das Gewicht hat sich nicht verändert, nur die Messung war ungenau.
Dieselbe Frage stellt sich bei jedem Fragebogen, und sie heißt in der Forschung Reliabilität. Reliabilität ist die Genauigkeit einer Messung: Ein Fragebogen, ein Test oder eine Waage gilt als reliabel, wenn eine Wiederholung unter gleichen Bedingungen zu gleichen oder sehr ähnlichen Werten führt, weil die beobachteten Unterschiede auf echte Unterschiede zurückgehen und nicht auf Messfehler. Nach diesem Beitrag weißt du, welches Verfahren für deine Erhebung in Frage kommt und welchen Wert du in der Arbeit angeben kannst.
📌 Das Wichtigste im Überblick
- Reliabilität bezeichnet die Genauigkeit einer Messung, nicht ihre inhaltliche Richtigkeit.
- Der Reliabilitätskoeffizient liegt zwischen 0 und 1.
- Ab 0,70 gilt Reliabilität für Gruppenvergleiche meist als ausreichend.
- Vier Verfahren schätzen Reliabilität, in Diplom- und Masterarbeiten fast immer die innere Konsistenz.
- Statistik Austria prüft Fragebögen vorab genau deshalb auf Messfehler.
Kostenlos Umfrage erstellen
Mit empirio.ai erstellst du in wenigen Minuten eine moderne Online-Umfrage – mit Hosting in der EU.
- Umfrage per KI
- Per Drag & Drop anpassen
- Auswertung in Echtzeit
Reliabilität ist Messgenauigkeit: die Definition in einem Satz
Reliabilität ist die Zuverlässigkeit oder Genauigkeit einer Messung. Sie ist hoch, wenn die gemessenen Unterschiede zwischen Personen auf tatsächliche Unterschiede zurückgehen und nur zu einem kleinen Teil auf Zufall und Messfehler.
Im Skriptum zu den Grundbegriffen der Statistik der Universität Klagenfurt steht die Reliabilität als eines von drei Gütekriterien der Messung, neben Objektivität und Validität. Geprüft wird nur eine Frage: Kommt bei einer Wiederholung dasselbe heraus? Ob das Ergebnis inhaltlich sinnvoll ist, beantwortet die Reliabilität nicht.
Reliabel heißt das Adjektiv zum Begriff. Eine digitale Waage ist reliabel, weil sie auch bei wiederholter Messung dasselbe Körpergewicht zeigt. Schätzt ein Forschungsteam das Gewicht der beobachteten Personen dagegen mit dem Auge, schwankt das Ergebnis von Durchgang zu Durchgang. Eine solche Messung ist nicht reliabel, unabhängig von der Erfahrung der schätzenden Person.
Der Grad der Reliabilität wird als Korrelation zwischen zwei Messungen ausgedrückt und heißt Reliabilitätskoeffizient. Er liegt zwischen 0 und 1: Bei 1 ist die Messung frei von Messfehlern, bei 0 entsteht der Wert ausschließlich durch Messfehler. Eine feste Eigenschaft des Fragebogens ist er nicht, er gilt immer nur für dieses Instrument in dieser Gruppe.
Wie die Reliabilität wissenschaftlich geprüft wird: vier Verfahren
Geprüft wird die Reliabilität, indem zwei Messungen desselben Merkmals miteinander korreliert werden. Je höher diese Korrelation, desto kleiner der Messfehler. In der klassischen Testtheorie sind vier Verfahren gebräuchlich und sie unterscheiden sich darin, woher die zweite Messung kommt.
Welches Verfahren in Frage kommt, entscheidet selten die Statistik. Entscheidend ist, ob du deine Befragten ein zweites Mal erreichst und ob du genug Fragen zum selben Merkmal gestellt hast.
Retest-Reliabilität: dieselbe Messung zu zwei Zeitpunkten
Die Retest-Reliabilität vergleicht zwei Messungen mit demselben Instrument und denselben Personen zu zwei Zeitpunkten. Führen beide Durchgänge zu ähnlichen Werten, gilt das Instrument als zuverlässig. Der Haken liegt im Abstand: Liegen die Termine zu dicht beieinander, erinnern sich die Befragten an ihre Antworten, liegen sie zu weit auseinander, hat sich das Merkmal verändert.
Paralleltest-Reliabilität: zwei gleichwertige Versionen desselben Fragebogens
Die Paralleltest-Reliabilität vergleicht zwei inhaltlich gleichwertige Versionen desselben Instruments, die dasselbe Merkmal gleich gut erfassen. In der Testtheorie gilt das als Königsweg, weil Erinnerungseffekte wegfallen. In einer Diplom- oder Masterarbeit ist es fast nie machbar, denn der Fragenpool reicht dafür selten.
Split-Half-Reliabilität: den Fragebogen in zwei Hälften teilen
Die Split-Half-Reliabilität teilt einen einzigen Fragebogen in zwei Hälften und korreliert deren Ergebnisse. Eine zweite Erhebung braucht es nicht, deshalb ist das Verfahren mit einer einmaligen Befragung umsetzbar. Weil jede Hälfte nur halb so viele Fragen enthält, fällt der Wert zu niedrig aus und wird mit der Spearman-Brown-Formel korrigiert.
Innere Konsistenz: jedes Item als eigener Testteil
Die innere Konsistenz behandelt jede einzelne Frage als eigenen Testteil und prüft, wie stark die Fragen einer Skala zusammenhängen. Berichtet wird sie meist als Cronbachs Alpha und in Abschlussarbeiten ist sie der Normalfall, weil eine einmalige Erhebung ausreicht. Voraussetzung ist eine Skala aus mehreren Fragen zum selben Merkmal, etwa mehrere Aussagen auf einer Likert-Skala.
Hinweis
Cronbachs Alpha braucht mehrere Fragen zum selben Merkmal. Plane die Skala deshalb schon im Fragebogen mit mehreren Aussagen. Genau diesen Weg geht auch Statistik Austria und prüft Fragebögen vor dem Einsatz auf Messfehler.
Interrater-Reliabilität: wenn Menschen und nicht Fragebögen messen
Die Interrater-Reliabilität gibt an, wie stark zwei oder mehr beurteilende Personen bei derselben Beobachtung zum gleichen Ergebnis kommen. In der Testtheorie steht dafür auch der Begriff Beobachterübereinstimmung. Gebraucht wird sie dort, wo nicht ein Fragebogen misst, sondern ein Mensch einordnet: bei Beobachtungen, bei offenen Antworten und in der qualitativen Inhaltsanalyse.
Am deutlichsten wird das an der Schule. Zwei Lehrkräfte beurteilen dieselbe vorwissenschaftliche Arbeit und kommen zu zwei verschiedenen Noten. Die Arbeit hat sich nicht verändert, beurteilt wurde nur ungenau. Als Kennwert dient bei zwei beurteilenden Personen Cohens Kappa, bei mehr als zwei Fleiss Kappa. Beide rechnen die zufällige Übereinstimmung heraus und sagen deshalb mehr aus als eine Prozentangabe.
Die Grenze zur Auswertungsobjektivität ist fließend, denn beide Kriterien fragen nach dem Einfluss der auswertenden Person. Praktisch hilft eine Aufteilung: Ein klarer Kodierleitfaden sichert die Objektivität, die gemessene Übereinstimmung belegt die Reliabilität.
Welcher Reliabilitätswert in einer Diplom- oder Masterarbeit reicht
Ein Reliabilitätskoeffizient ab 0,70 gilt für Untersuchungen auf Gruppenebene meist als ausreichend, ab 0,80 als gut und über 0,90 als hoch. Diese Einordnung stammt aus der GESIS Survey Guideline zur Reliabilität von Daniel Danner (2015).
| Koeffizient | Einordnung | Wofür das reicht |
|---|---|---|
| unter 0,70 | zu niedrig | Skala wird begründet oder verworfen |
| 0,70 bis 0,79 | ausreichend | Vergleiche zwischen Gruppen |
| 0,80 bis 0,89 | gut | der Regelfall in Abschlussarbeiten |
| ab 0,90 | hoch | Aussagen über einzelne Personen |
Eine Unterscheidung wird in vielen Ratgebern übergangen: 0,70 reicht, solange du Gruppen vergleichst, etwa Studierende mit Berufstätigen. Sobald ein Wert eine Aussage über eine einzelne Person trägt, wie in der Diagnostik, liegt die Anforderung höher. Genau deshalb stehen in Lehrbüchern unterschiedliche Grenzwerte.
Dass sich der Aufwand lohnt, zeigt die amtliche Statistik: Statistik Austria testet Fragebögen vor dem Einsatz und hält in den Statistischen Nachrichten 2/2016 fest, dass reliable Daten unabhängig vom Zeitpunkt der Messung sind. Bei einer einmaligen Online-Umfrage bleiben dir zwei Wege: die innere Konsistenz über Cronbachs Alpha und die Split-Half-Methode.
Achtung
Eine Retest-Reliabilität lässt sich nicht berichten, wenn nur einmal erhoben wurde. Kommt kein Wert heraus, gehört genau das in die Methodendiskussion, zusammen mit dem Grund. Bei der Defensio ist eine benannte Grenze mehr wert als ein Koeffizient, der nichts belegt!
Kostenlos Umfrage erstellen
Mit empirio.ai erstellst du in wenigen Minuten eine moderne Online-Umfrage – mit Hosting in der EU.
- Umfrage per KI
- Per Drag & Drop anpassen
- Auswertung in Echtzeit
Typische Fehler bei der Reliabilität
Drei Fehler tauchen in Abschlussarbeiten besonders häufig auf und alle drei fallen spätestens bei der Defensio auf.
Die Ursache ist jedes Mal dieselbe: Reliabilität wird mit etwas verwechselt, das nach mehr Sorgfalt aussieht, aber eine andere Frage beantwortet. Wer die drei Verwechslungen kennt, findet sie im eigenen Methodenteil schnell.
Mehr Teilnehmende sollen die Reliabilität erhöhen
Eine größere Stichprobe erhöht die Reliabilität nicht. Reliabilität ist eine Eigenschaft der Messung, also des Fragebogens und der Ausfüllsituation. Mehr Teilnehmende machen nur die Schätzung des Koeffizienten stabiler. Ein ungenau formuliertes Item bleibt ungenau, auch bei 500 statt 50 Personen in der Stichprobe.
Cronbachs Alpha für eine einzelne Frage berechnen
Cronbachs Alpha setzt mehrere Fragen zum selben Merkmal voraus, weil es deren Zusammenhang misst. Für eine einzelne Frage gibt es diesen Zusammenhang nicht, der Wert ist also nicht definiert. Steht trotzdem eine Zahl in der Arbeit, sind meist verschiedene Fragen versehentlich zu einer Skala zusammengefasst worden.
Die Paralleltest-Methode mit zwei Erhebungsmethoden verwechseln
Die Paralleltest-Methode verlangt zwei gleichwertige Versionen desselben Instruments, nicht zwei verschiedene Erhebungsmethoden. Ein Vergleich von Befragung und Beobachtung prüft etwas anderes und gehört zur Validität. Dieser Irrtum steht in vielen Online-Glossaren und wandert von dort in Abschlussarbeiten.
Fazit
Reliabilität ist das unspektakulärste der drei Gütekriterien und das, an dem die meisten Arbeiten scheitern, weil es vor der Erhebung entschieden wird und nicht danach. Wer mehrere Fragen zum selben Merkmal stellt, kann hinterher einen Wert berichten. Wer nur eine Frage gestellt hat, kann das nicht nachholen.
Reliabilität sagt, wie genau du gemessen hast. Sie sagt nichts darüber, ob du das Richtige gemessen hast.
Wie es weitergeht
- Du willst alle drei Gütekriterien einordnen? Objektivität, Reliabilität, Validität im Vergleich
- Du brauchst die Definition des nächsten Begriffs? Was bedeutet Validität?
- Du stellst den Fragebogen gerade zusammen? Fragebogen erstellen: Anleitung und Aufbau
- Du willst den ganzen Ablauf im Blick haben? Empirische Forschung: Definition, Methoden, Leitfaden
Unser Literaturtipp: Danner, Daniel (2015): Reliabilität, die Genauigkeit einer Messung. GESIS Survey Guidelines, Mannheim. Der Text erklärt alle Schätzverfahren mit Formeln. Für den österreichischen Bezug lohnt der Beitrag von Baumgartner und Kolleginnen (2016) in den Statistischen Nachrichten von Statistik Austria, weil er zeigt, wie ein Fragebogen vor dem Einsatz getestet wird.
Du brauchst mehrere Fragen zum selben Merkmal, um später einen Reliabilitätswert zu berichten?
Mit empirio.ai, einem Online-Umfrage-Tool aus Deutschland, legst du Skalen mit mehreren Aussagen in wenigen Schritten an und exportierst die Rohdaten.