Objektivität, Reliabilität, Validität: Definition, Beispiel

Ein Fragebogen wird in Zürich auf Hochdeutsch ausgefüllt, gesprochen wird im Alltag aber Schweizerdeutsch. Einzelne Formulierungen können deshalb anders ankommen, als die Skala es vorsieht, ohne dass an den Fragen selbst etwas geändert wurde.

Objektivität, Reliabilität und Validität, die drei Gütekriterien der quantitativen Forschung, setzen genau an solchen Unterschieden an, und jedes davon prüft etwas anderes. Objektivität bedeutet, dass verschiedene Personen bei derselben Erhebung zum gleichen Resultat kommen. Reliabilität bedeutet, dass ein Instrument genau misst, also mit einem möglichst kleinen Messfehler. Validität bedeutet, dass ein Fragebogen genau jenes Merkmal erfasst, das er erfassen soll, und kein benachbartes. Nach diesem Beitrag kannst du für deine eigene Erhebung begründen, welches Kriterium du wie weit erfüllst und wo du eine Grenze offenlegst.

📌 Das Wichtigste im Überblick

• Objektivität prüft den Einfluss der auswertenden Person.
• Reliabilität prüft, wie genau ein Instrument misst, also den Messfehler.
• Validität prüft, ob das gemeinte Merkmal erfasst wird.
• Ein eigenes Schweizer Testbeurteilungssystem liess sich nicht nachweisen.
• Valérie-Anne Ryser hält kognitive Pretests bei Skalenadaptionen für unverzichtbar.

Objektivität, Reliabilität, Validität: die drei Gütekriterien im Überblick

Objektivität, Reliabilität und Validität bilden die drei Hauptgütekriterien, an denen die Qualität eines Messinstruments gemessen wird. Sie stellen nacheinander drei Fragen: Läuft die Messung unabhängig von der durchführenden Person, arbeitet sie genau, und trifft sie das gemeinte Merkmal?

Die Abfolge der drei Kriterien ist kein Zufall, sondern bildet ab, worauf jedes weitere Kriterium angewiesen ist. Eine Erhebung, bei der zwei auswertende Personen zu verschiedenen Werten kommen, wird nie zuverlässig, und eine unzuverlässige Messung wird nie gültig. Wie streng dieser Zusammenhang ist, hängt vom Paar ab: Für Reliabilität und Validität hält die Testtheorie ihn als formale Bedingung fest, für Objektivität und Reliabilität nicht.

In vielen Übersichten fehlt ein Hinweis: Mit diesen dreien ist die Liste nicht zu Ende. Helfried Moosbrugger und Augustin Kelava führen in ihrem Standardwerk „Testtheorie und Fragebogenkonstruktion“ zehn Gütekriterien. Neben der Trias stehen dort Skalierung, Normierung, Testökonomie, Nützlichkeit, Zumutbarkeit, Unverfälschbarkeit und Fairness, nachzulesen in Kapitel 2 des Lehrbuchs (Springer, 2012). Das Buch ist im gesamten deutschsprachigen Raum die übliche Referenz, auch an Schweizer Hochschulen.

Warum sich die Schweiz am europäischen Beurteilungsmodell orientiert

Ein eigenes nationales System zur Beurteilung von Testverfahren gibt es in der Schweiz nicht. Das Zentrum für Testentwicklung und Diagnostik der Universität Freiburg nennt für die Schweiz kein nationales Gremium, sondern lediglich Vertreterinnen und Vertreter der Föderation der Schweizer Psychologinnen und Psychologen (FSP), die auf Mandatsbasis in internationalen Gremien mitarbeiten. Massgeblich sind deshalb das Review-Modell der European Federation of Psychologists' Associations (EFPA) und die Richtlinien der International Test Commission (ITC).

Die DIN 33430 zur berufsbezogenen Eignungsbeurteilung, auf die Moosbrugger und Kelava verweisen, ist eine deutsche Norm. Eine schweizerische Entsprechung mit demselben Anspruch liess sich nicht nachweisen, weshalb in der Praxis häufig deutsche Testrezensionen herangezogen werden. Für eine Bachelor- oder Masterarbeit genügt die Beschränkung auf die drei Hauptgütekriterien dennoch, solange du weisst, dass du damit eine Auswahl triffst. Wer die sieben weiteren Gütekriterien empirischer Forschungsmethoden wenigstens benennen kann, wirkt bei der Verteidigung deutlich souveräner.

Objektivität: Wie stark beeinflusst die durchführende Person das Resultat?

Objektivität liegt vor, wenn ein Test das gemessene Merkmal unabhängig von Testleitung und Auswertung erfasst und wenn für die Deutung klare, anwenderunabhängige Regeln vorliegen. Praktisch bedeutet das: Wer die Erhebung betreut, bekommt keinen Spielraum.

Bei einer Online-Befragung fällt dieses Kriterium leichter als bei jedem mündlichen Verfahren, weil zwischen Forschung und Befragten gar kein Gespräch stattfindet. Vielmehr sehen alle dieselbe Maske in derselben Reihenfolge. Die drei Aspekte der Objektivität gehen auf Gustav Lienert und Ulrich Raatz (1998) zurück, Moosbrugger und Kelava übernehmen sie in dieser Form, und in einer Masterarbeit wird jeder Aspekt einzeln begründet.

Durchführungsobjektivität: alle Befragten treffen auf dieselbe Situation

Durchführungsobjektivität ist erreicht, wenn das Resultat nicht davon abhängt, wer die Erhebung leitet. Der Hebel dazu heisst Standardisierung: Instruktion, Reihenfolge, Zeitfenster und Antwortformate stehen vorab fest und ändern sich zwischen zwei Teilnehmenden nicht. Als Ideal nennen Moosbrugger und Kelava eine Situation, in der die befragte Person die einzige Quelle von Variation bleibt. Wer eine Umfrage online erstellt, erfüllt dieses Ideal beinahe von selbst: Der Fragebogen wird einmal angelegt und danach allen Teilnehmenden identisch ausgeliefert, ohne dass jemand vorliest, erklärt oder nachfragt.

Auswertungsobjektivität: dieselben Antworten führen zu denselben Werten

Auswertungsobjektivität ist erreicht, wenn zwei Personen aus identischen Antworten denselben Wert bilden. Bei geschlossenen Fragen mit vorgegebenen Optionen entsteht dabei kein Spielraum, weil nichts zu deuten bleibt. Sobald offene Fragen dazukommen, sinkt der Wert, denn Freitexte müssen erst in Kategorien überführt werden. Ausgeschlossen ist das nicht, es verlangt aber einen dokumentierten Kategorienplan. Die Übereinstimmung zwischen zwei codierenden Personen lässt sich ausserdem als Interrater-Reliabilität in einer Zahl ausdrücken, und genau das macht aus einer Behauptung einen Beleg.

Interpretationsobjektivität: aus demselben Wert folgt dieselbe Aussage

Interpretationsobjektivität ist erreicht, wenn verschiedene Fachpersonen aus einem Zahlenwert dieselbe Schlussfolgerung ziehen. In der Praxis bleibt dieser Aspekt der schwächste, weil dafür Normwerte oder klare Schwellen vorliegen müssten. Bei einer eigenen Erhebung ohne Eichstichprobe existieren sie nicht. Stattdessen legst du die Regeln der Deutung vorab fest und nennst sie im Methodenteil, statt sie nachträglich am Resultat auszurichten.

Reliabilität: Liefert eine zweite Messung denselben Wert?

Reliabilität beschreibt die Messgenauigkeit eines Tests. Ein Test gilt als reliabel, wenn er jenes Merkmal, das er misst, ohne Messfehler abbildet. Ausgedrückt wird das im Reliabilitätskoeffizienten, einer Zahl zwischen 0 und 1.

Ein Koeffizient von 1 steht für eine Messung ohne jeden Messfehler, ein Koeffizient von 0 für einen Wert, der ausschliesslich aus Messfehlern besteht. Moosbrugger und Kelava schreiben, der Reliabilitätskoeffizient eines guten Tests sollte 0,7 nicht unterschreiten. Diese Zahl kursiert im Netz meist ohne Beleg. Sie steht in Kapitel 2 des Lehrbuchs als Soll-Angabe und nicht als Grenzwert, ab dem eine Skala unbrauchbar wäre.

Zur Bestimmung der Reliabilität kennt die Klassische Testtheorie vier Verfahren. Welches davon für deine Arbeit realistisch bleibt, entscheidet weniger die Statistik als die Frage, ob du dieselben Befragten ein zweites Mal erreichst.

Als Königsweg gilt die Paralleltest-Reliabilität, weil sie Übungs- und Erinnerungseffekte ausschaltet. Für eine Bachelor- oder Masterarbeit bleibt sie dennoch fast immer unerreichbar, denn sie verlangt zwei Fragebogenfassungen, die zu denselben wahren Werten führen. In der Praxis landen deshalb fast alle bei der inneren Konsistenz.

Cronbachs Alpha: was der Wert aussagt und was nicht

Cronbachs Alpha misst, wie eng die Items einer Skala untereinander zusammenhängen, und ist damit ein Mass der inneren Konsistenz. Verbreitet ist der Wert vor allem, weil jede Statistiksoftware ihn ausgibt, und ebenso verbreitet ist seine Überdehnung. Ein hoher Alpha-Wert belegt nämlich nicht, dass eine Skala nur ein einziges Merkmal misst, und er steigt schon dann, wenn die Skala mehr Items bekommt. Streng ist zudem die Annahme dahinter: Alle Items sollen gleich stark auf dasselbe Merkmal laden. Trifft das nicht zu, unterschätzt Alpha die tatsächliche Reliabilität. Klaas Sijtsma hat diese Einschränkungen 2009 in der Fachzeitschrift Psychometrika ausführlich dargelegt, und als Alternative wird seitdem häufig McDonalds Omega genannt.

Rechnen musst du Omega für eine Abschlussarbeit deswegen nicht. Es genügt, Alpha mit einem Halbsatz einzuordnen, statt es als Beweis zu präsentieren. Genau solche Einordnungen unterscheiden eine gute von einer durchschnittlichen Methodendiskussion.

Was du tust, wenn Cronbachs Alpha zu niedrig ausfällt

Ein niedriger Alpha-Wert ist kein Grund, eine Skala stillschweigend aus der Arbeit zu nehmen. Der Wert ist ein Befund, und dafür stehen drei nachvollziehbare Wege offen: die Skala so berichten, wie sie ausfällt, einzelne Items begründet ausschliessen oder die Auswertung auf die Einzelitems umstellen. Welcher Weg passt, zeigt die Trennschärfe der Items.

Die Trennschärfe wird meist als Item-Rest-Korrelation ausgewiesen, also als Zusammenhang eines Items mit der Summe der übrigen Items derselben Skala. Die Item-Gesamt-Korrelation rechnet das Item in die Summe hinein und fällt deshalb systematisch höher aus, bei kurzen Skalen deutlich. Ein Item mit sehr niedriger Item-Rest-Korrelation ist der erste Kandidat für den Ausschluss. Steht dort ein negatives Vorzeichen, lohnt zuerst der Blick, ob eine umgekehrt formulierte Frage vor der Auswertung umcodiert wurde. Ein Codierfehler ist der häufigste rein technische Grund für ein kaputtes Alpha.

Zwei Randbedingungen gehören in die Einordnung. Die Länge der Skala ist die erste: Alpha steigt mit der Zahl der Items, auch ohne dass die Messung besser wird, und eine Skala aus drei Items erreicht selten hohe Werte. Die Zahl der auswertbaren Antworten ist die zweite: Bei kleinen Stichproben schwankt der Alpha-Schätzer stark, der Wert ist dann eine wacklige Punktschätzung und kein Messergebnis.

Gerechnet wird Alpha mit Statistiksoftware und nicht von Hand. SPSS gibt Koeffizient und Item-Rest-Korrelationen in derselben Ausgabe aus, in R leistet das Paket psych dasselbe, und JASP wie jamovi sind kostenlose Oberflächen, die beide Werte ebenfalls mitliefern. Voraussetzung bleibt in jedem Fall, dass die Items überhaupt eine Skala bilden: dasselbe Antwortformat, dieselbe Stufenzahl, dieselbe Richtung. Eine Likert-Skala ist dafür der Normalfall.

Interrater-Reliabilität: wenn zwei Personen dasselbe Material beurteilen

Interrater-Reliabilität gibt an, wie stark zwei oder mehr unabhängig urteilende Personen bei demselben Material zur gleichen Einschätzung kommen. Gebraucht wird sie, sobald Daten nicht angekreuzt, sondern zugeordnet werden: offene Antworten, Beobachtungen, Interviewpassagen, Bewertungen von Texten oder Bildern.

In der Systematik der drei Gütekriterien sitzt die Interrater-Reliabilität an einer Nahtstelle. Gemessen wird eine Übereinstimmung zwischen Personen, und damit prüft sie im Kern die Auswertungsobjektivität. Berichtet wird sie trotzdem als Reliabilität, weil sie wie jeder Reliabilitätskoeffizient einen Messfehleranteil ausdrückt. In Abschlussarbeiten taucht sie deshalb in beiden Kapiteln auf, und beides lässt sich vertreten, solange du begründest, warum sie dort steht.

Interrater, Intrarater, Intercoder: wer mit wem verglichen wird

Die vier gängigen Begriffe unterscheiden sich darin, wer verglichen wird, nicht darin, wie gerechnet wird. Dieselbe Formel findet sich daher hinter verschiedenen Namen, und genau daraus entsteht die verbreitete Verwirrung. Für den Methodenteil zählt, dass du den Namen wählst, der zu deinem Material passt.

• Interrater-Reliabilität: zwei oder mehr Personen beurteilen dasselbe Material. Der Normalfall in einer Abschlussarbeit mit offenen Fragen.
• Intrarater-Reliabilität: dieselbe Person beurteilt dasselbe Material ein zweites Mal, mit zeitlichem Abstand. Der Wert zeigt, ob ein Kategorienplan auch für eine einzelne Person stabil bleibt.
• Intercoder-Reliabilität: derselbe Gedanke in der Inhaltsanalyse, wo die urteilenden Personen Codierende heissen. Interrater und Intercoder meinen in der Praxis dasselbe.
• Interobserver-Reliabilität: derselbe Gedanke in der Beobachtungsforschung, wo nicht Material codiert, sondern Verhalten protokolliert wird.

Cohens Kappa, Krippendorffs Alpha und der ICC

Die prozentuale Übereinstimmung allein reicht als Belegzahl nicht aus, weil zwei Personen auch durch Zufall häufig gleich urteilen. Je weniger Kategorien ein Plan enthält, desto grösser fällt dieser Zufallsanteil aus: Bei zwei Kategorien trifft blindes Raten in rund der Hälfte der Fälle zu. Die gebräuchlichen Koeffizienten rechnen den Zufallsanteil deshalb heraus.

Für die Höhe dieser Werte gibt es keine Schwelle, die aus einer Norm folgt. Verbreitet sind Einteilungen, die ab etwa 0,6 von substanzieller und ab etwa 0,8 von sehr hoher Übereinstimmung sprechen; sie gehen auf Vorschläge einzelner Autoren zurück und nicht auf einen verbindlichen Standard. Nenne deshalb den Wert, das verwendete Verfahren und die Quelle der Einteilung, auf die du dich stützt, statt eine Grenze als gegeben hinzustellen.

Interrater-Reliabilität in der eigenen Erhebung erheben

Der Aufwand bleibt kleiner, als die Begriffe vermuten lassen, und er fällt ohnehin an, sobald offene Fragen im Fragebogen stehen. Fünf Schritte reichen, und der dritte ist der entscheidende: Ohne unabhängiges Urteil gibt es keine Zahl, die etwas belegt.

• Kategorienplan schreiben, bevor die erste Antwort gelesen wird, mit einer Beschreibung und einem Beispiel je Kategorie.
• Eine zweite Person einarbeiten, meist eine mitstudierende Person aus demselben Seminar.
• Beide codieren unabhängig voneinander denselben Teil des Materials, häufig zehn bis zwanzig Prozent der Antworten.
• Koeffizient rechnen, Abweichungen durchsprechen, Kategorienplan nachschärfen.
• Erst danach das restliche Material codieren und den Wert aus dem ersten Durchgang berichten.

Was dabei entsteht, ist mehr als eine Kennzahl im Methodenteil. Ein Kategorienplan, den zwei Personen gleich anwenden können, macht die anschliessende Auswertung überhaupt erst nachvollziehbar. Wie es von dort zu Häufigkeiten, Mittelwerten und Kreuztabellen weitergeht, steht im Leitfaden zum Fragebogen auswerten.

Validität: Erfasst der Fragebogen wirklich das gemeinte Merkmal?

Validität liegt vor, wenn ein Test jenes Merkmal misst, das er messen soll, und nicht ein benachbartes. Für die Testpraxis nennen Moosbrugger und Kelava die Validität das wichtigste Gütekriterium überhaupt, weil sie über die Aussagekraft sämtlicher Ergebnisse entscheidet.

Anders als die Reliabilität lässt sich Validität nicht an einer einzigen Zahl ablesen. Vielmehr setzt sie sich aus mehreren Belegarten zusammen, und je nach Anwendungsfall ist nur ein Teil davon überhaupt prüfbar. Das Lehrbuch trennt vier Aspekte, die im Methodenteil auch so heissen sollten.

• Inhaltsvalidität: Decken die Items den Merkmalsbereich repräsentativ ab? Gerechnet wird hier nichts, geurteilt wird fachlich und über Expertenurteile.
• Augenscheinvalidität: Wirkt der Anspruch eines Tests für eine fachfremde Person auf den ersten Blick gerechtfertigt? Betroffen ist die Akzeptanz, nicht die Aussagekraft.
• Konstruktvalidität: Trägt der Schluss vom Antwortverhalten auf das dahinterliegende Merkmal theoretisch? Belegt wird er über zwei Richtungen: Ein hoher Zusammenhang mit Verfahren, die dasselbe Merkmal messen, heisst konvergente Validität. Ein bewusst niedriger Zusammenhang mit Verfahren, die etwas anderes messen, heisst diskriminante Validität. Erst beide zusammen tragen das Argument, denn ein Fragebogen, der mit allem korreliert, grenzt sein Merkmal nicht ab.
• Kriteriumsvalidität: Erlaubt der Testwert einen Schluss auf ein Verhalten ausserhalb der Testsituation? Bei gleichzeitig vorliegendem Kriterium spricht man von Übereinstimmungsvalidität, bei künftigem von Vorhersage- oder prädiktiver Validität.

Inhaltsvalidität und Augenscheinvalidität werden regelmässig verwechselt

Häufig liest man, Inhaltsvalidität und Augenscheinvalidität meinten dasselbe. Zutreffend ist das nicht, und die Verwechslung ist so verbreitet, dass Moosbrugger und Kelava sie im Lehrbuch eigens als Verwechslungsgefahr ausweisen. Der Unterschied liegt darin, wer urteilt und woraufhin. Inhaltsvalidität ist ein Fachurteil darüber, ob die Items den Merkmalsbereich abdecken. Augenscheinvalidität ist der Eindruck einer fachfremden Person, dass ein Test plausibel wirkt. Ein Fragebogen kann sehr überzeugend aussehen und trotzdem am Merkmal vorbeimessen, und ein inhaltlich sauberer Test kann für Aussenstehende völlig unverständlich wirken.

Interne und externe Validität: eine andere Systematik

Interne und externe Validität bewerten kein Messinstrument, sondern ein Untersuchungsdesign. Interne Validität fragt, ob ein Ursachenschluss innerhalb der Studie trägt, also ob die beobachtete Wirkung wirklich von der untersuchten Ursache kommt und nicht von einer dritten Grösse. Externe Validität fragt, ob ein Ergebnis über die untersuchte Situation hinaus gilt, für andere Personen, andere Orte, andere Zeitpunkte.

Zwischen den beiden besteht ein Zielkonflikt, und genau der macht das Begriffspaar für eine Methodendiskussion wertvoll. Ein Laborexperiment mit strenger Kontrolle erreicht hohe interne und oft niedrige externe Validität, weil die Situation künstlich bleibt. Eine Befragung im Alltag verhält sich umgekehrt. Eine standardisierte Online-Befragung liegt dazwischen: Sie läuft in der gewohnten Umgebung der Befragten, lässt aber kaum zu, Ursache und Wirkung sauber zu trennen.

Inhalts-, Konstrukt- und Kriteriumsvalidität gehören nicht in dieselbe Liste wie interne und externe Validität. Die erste Gruppe bewertet ein Messinstrument, die zweite ein Design. Viele Zusammenfassungen sortieren interne und externe Validität dennoch als Unterarten der Konstruktvalidität ein. Wer das übernimmt, verliert genau jene Präzision, die im Methodenteil bewertet wird.

Wie Objektivität, Reliabilität und Validität zusammenspielen

Reliabilität ist die Voraussetzung für Validität, und der umgekehrte Schluss trägt nicht. Moosbrugger und Kelava halten fest, dass Objektivität und Reliabilität lediglich die günstigen Voraussetzungen für eine hohe Validität schaffen und dass ein Test mit niedriger Reliabilität keine hohe Validität erreichen kann.

Der zitierte Satz aus dem Lehrbuch wirkt unscheinbar und trägt doch die ganze Systematik. Übersetzt heisst er: Eine zuverlässige Messung kann am Thema vorbeigehen, eine unzuverlässige Messung kann niemals gültig sein. Die Objektivität geht dem in der Praxis voraus, weil eine Erhebung mit grossem Auswertungsspielraum kaum stabile Werte liefert. Als formale Bedingung steht das im Lehrbuch allerdings nicht, anders als die Beziehung zwischen Reliabilität und Validität.

Ein Thermometer, das konstant 1,5 Grad zu viel anzeigt, macht den Unterschied anschaulich. Objektiv arbeitet es, weil es bei jeder Person nach denselben Regeln funktioniert. Reliabel ist es ebenfalls, weil drei Messungen hintereinander denselben Wert liefern. Valide ist es trotzdem nicht, denn es misst systematisch daneben. Genau dieser Fall, hohe Reliabilität bei niedriger Validität, kommt in Fragebögen am häufigsten vor, und in den Kennzahlen fällt er nicht auf.

Schweizer Sonderfall: Skalen auf Hochdeutsch validiert, Alltagssprache Schweizerdeutsch

Skalen für psychologische Konstrukte werden im deutschsprachigen Raum fast immer auf Hochdeutsch entwickelt und geprüft, in der Deutschschweiz aber von Menschen beantwortet, deren Alltagssprache Schweizerdeutsch ist. Valérie-Anne Ryser weist im FORS Guide Nº 22 „Measuring psychological constructs“ (2023) darauf hin, dass Skalen nach Länge, Validität und Reliabilität auszuwählen sind, und hält kognitive Pretests bei einer Adaption für unverzichtbar. Herausgeber ist FORS, das Schweizer Kompetenzzentrum Sozialwissenschaften an der Universität Lausanne.

Für deine eigene Erhebung folgt daraus zweierlei. Erstens sinkt die Reliabilität, sobald einzelne Begriffe unterschiedlich verstanden werden, weil die Antworten dann stärker streuen, als das Merkmal es hergibt. Zweitens gerät die Validität ins Rutschen, sobald ein Item in der Deutschschweiz systematisch anders gelesen wird als in Deutschland. Ein kognitiver Pretest mit einer Handvoll Personen aus der Zielgruppe deckt beides auf, bevor der Link verschickt ist.

Reihenfolge im Methodenteil: erst Durchführung, dann Genauigkeit, dann Abdeckung

Die Reihenfolge im Methodenteil folgt derselben Logik wie der Aufbau der drei Kriterien. Zuerst klärst du die Bedingungen der Durchführung, danach die Genauigkeit deiner Skalen, zuletzt die inhaltliche Abdeckung. Wer diese Abfolge umdreht, begründet die Gültigkeit einer Messung, deren Zuverlässigkeit noch gar nicht geklärt ist.

• Halte fest, ob die Erhebung für alle Befragten identisch abläuft.
• Rechne danach die innere Konsistenz deiner Skalen.
• Begründe zuletzt, dass die Items den Merkmalsbereich abdecken.
• Nenne auch einen niedrigen Wert, statt ihn wegzulassen.

Zuverlässig gemessen ist nicht dasselbe wie richtig gemessen.

Gelten die drei Gütekriterien auch in der qualitativen Forschung?

Für qualitative Verfahren taugen die drei Gütekriterien nur eingeschränkt, weil sie für standardisierte Messungen entwickelt wurden. Ein Leitfadeninterview soll bei einer Wiederholung eben nicht dasselbe ergeben, sondern auf die einzelne Person eingehen.

In der qualitativen Sozialforschung sind deshalb eigene Kataloge entstanden. Am bekanntesten ist der Vorschlag von Yvonna Lincoln und Egon Guba aus „Naturalistic Inquiry“ (Sage, 1985) mit Glaubwürdigkeit, Übertragbarkeit, Verlässlichkeit und Bestätigbarkeit. Im deutschsprachigen Raum wird daneben häufig auf die Kernkriterien von Ines Steinke verwiesen, die die intersubjektive Nachvollziehbarkeit des Vorgehens in den Mittelpunkt rücken.

Praktisch bleibt die Folge überschaubar. Wer qualitativ erhebt, schreibt nicht über Cronbachs Alpha, sondern dokumentiert Auswahl, Ablauf und Auswertung so genau, dass eine dritte Person den Weg nachvollziehen kann. Welche Kriterien in beiden Forschungslogiken nebeneinanderstehen, zeigt der Beitrag zu den Gütekriterien quantitativer und qualitativer Forschung.

Gütekriterien in der Abschlussarbeit: wo sie in der Gliederung stehen

Die Gütekriterien haben in einer Abschlussarbeit keinen festen Platz in der Gliederung. Üblich sind zwei Varianten, und beide lassen sich vertreten: ein eigener Unterpunkt im Kapitel zum Forschungsdesign oder ein Abschnitt in der Reflexion des eigenen Vorgehens.

Welche Variante passt, hängt davon ab, wie begründungsbedürftig die Methodenwahl für deine Forschungsfrage ist. Steht die Methode im Zentrum, gehören die Kriterien nach vorne ins Design. Geht es stärker um inhaltliche Erkenntnisse, wirken sie hinten in der Reflexion natürlicher. Im Zweifel klärst du das mit deiner Betreuung, denn die Institute handhaben das unterschiedlich.

Variante 1: Gütekriterien als eigener Unterpunkt im Forschungsdesign

Der eigene Unterpunkt im Forschungsdesign eignet sich, wenn du die Methodenwahl ausführlich begründest und die Gütekriterien Teil dieser Begründung sind. Der Vorteil liegt darin, dass die Qualitätsfrage bereits geklärt ist, bevor die Lesenden auf die Ergebnisse treffen. Der Preis ist, dass an dieser Stelle noch nicht feststeht, welche Skalen sich später als schwach erweisen, und du deshalb mit einem Nachtrag in der Reflexion rechnen musst.

1. Einleitung mit Forschungsfrage
2. Theorie und Stand der Forschung
3. Forschungsdesign, darin: Hypothesen, Methodenwahl, Grundgesamtheit und Stichprobe, Variablen, Fragenkatalog, Gütekriterien mit je einem Unterpunkt für Objektivität, Reliabilität und Validität
4. Datenerhebung
5. Datenauswertung
6. Ergebnisse
7. Reflexion des Vorgehens
8. Fazit

Variante 2: Gütekriterien als Abschnitt in der Reflexion des Vorgehens

Die Reflexion des Vorgehens eignet sich, wenn du die Grenzen deiner Erhebung erst im Licht der Ergebnisse sauber benennen kannst. Der Aufbau bleibt derselbe, nur wandern die Gütekriterien in Punkt 7 und werden dort gemeinsam mit den Einschränkungen der Arbeit diskutiert. Der Vorteil liegt in der Ehrlichkeit, weil du über tatsächlich erreichte Werte schreibst statt über Absichten. Der Preis ist, dass die Methodenkritik weit hinten steht und leicht überlesen wird.

In beiden Varianten gilt derselbe Massstab: Bewertet wird nicht, ob eine Erhebung alle drei Kriterien erfüllt, sondern ob nachvollziehbar wird, welche erfüllt sind und wo die Grenzen liegen.

Typische Fehler bei den Gütekriterien

Die meisten Abzüge im Methodenteil entstehen nicht durch schwache Kennzahlen, sondern durch Aussagen, die mehr behaupten, als die Daten hergeben. Drei Muster tauchen dabei besonders oft auf.

Alle drei Muster gehen auf dieselbe Ursache zurück: Ein Gütekriterium wird für etwas in Anspruch genommen, wofür es nicht gemacht ist. Wer die drei Kriterien sauber auseinanderhält, umgeht die Fehler beinahe von allein, und der Methodenteil wird dabei eher kürzer als länger.

Fehler 1: aus hoher Reliabilität auf Validität schliessen

Ein Cronbachs Alpha von 0,91 belegt, dass die Items einer Skala eng zusammenhängen. Über die Frage, ob diese Items das gemeinte Merkmal erfassen, sagt der Wert nichts. Wer nach dem Alpha-Wert notiert, die Skala sei damit valide, zieht genau jenen Schluss, den die Testtheorie ausschliesst. Der Ausweg ist ein zusätzlicher Absatz zur Inhaltsvalidität, in dem du begründest, warum die Items den Merkmalsbereich abdecken.

Fehler 2: Objektivität abhaken, weil die Umfrage online läuft

Eine Online-Umfrage sichert vor allem die Durchführungsobjektivität, weil alle Befragten dieselbe Maske sehen. Auswertungs- und Interpretationsobjektivität bleiben davon unberührt. Sobald offene Fragen im Fragebogen stehen oder Schwellenwerte frei gewählt werden, entsteht erneut Spielraum. Der Ausweg ist, alle drei Aspekte getrennt zu benennen, statt Objektivität pauschal als erledigt zu betrachten.

Fehler 3: schwache Werte aus der Arbeit heraushalten

Ein Reliabilitätskoeffizient von 0,61 ist kein Grund, eine Skala zu streichen oder den Wert zu verschweigen. Bewertet wird die Auseinandersetzung, nicht die Höhe der Zahl. Wer den Wert nennt, erklärt, woran er vermutlich liegt, und die Deutung entsprechend vorsichtiger formuliert, zeigt genau die methodische Reife, um die es geht. Verschwiegene Werte fallen spätestens bei der Verteidigung auf.

Fazit

Objektivität, Reliabilität und Validität sind keine Hürden, die genommen werden müssen, sondern drei Fragen, die du beantwortest. Vollständige Erfüllung bleibt auch in professionellen Studien die Ausnahme, und in einer Abschlussarbeit erwartet sie niemand. Erwartet wird, dass du die drei Kriterien auseinanderhältst und offenlegst, wo deine Erhebung an ihre Grenzen stösst.

Wie es weitergeht

• Du willst den Fragebogen selbst aufbauen? Fragebogen erstellen: Anleitung und Aufbau
• Du suchst das passende Auswertungsverfahren? Auswertungsmethoden in der empirischen Forschung
• Du willst den ganzen Ablauf im Blick haben? Empirische Forschung: Definition, Methoden, Leitfaden

Unser Literaturtipp: Moosbrugger, Helfried und Kelava, Augustin (Hrsg.) (2012): Testtheorie und Fragebogenkonstruktion. 2. Auflage. Springer: Berlin und Heidelberg. Kapitel 2 behandelt alle zehn Gütekriterien und steht als Leseprobe frei zur Verfügung. Für Schweizer Erhebungen lohnt sich zusätzlich der FORS Guide Nº 22 von Valérie-Anne Ryser (2023), der Auswahl und Adaption von Skalen behandelt.

Soll deine Befragung von Anfang an standardisiert laufen?

Mit empirio.ai, einem Online-Umfrage-Tool aus Deutschland, sehen alle Teilnehmenden denselben Fragebogen in derselben Reihenfolge. Damit ist die Durchführungsobjektivität weitgehend abgesichert. Auswertungs- und Interpretationsobjektivität bleiben deine Aufgabe, denn beide hängen an deinen Regeln und nicht am Werkzeug.

Gratis ein Konto eröffnen