Objektivität, Reliabilität, Validität: Definition, Beispiel

Zwei Personen am Institut werten denselben Datensatz aus und legen am Ende zwei verschiedene Zahlen vor. Objektivität, Reliabilität und Validität entscheiden darüber, ob so etwas überhaupt passieren kann.

Gütekriterien prüfen die Qualität eines Messinstruments, und die österreichische Gutachterrichtlinie stellt der bekannten Trias zwei weitere gleichrangig zur Seite. Objektivität heißt, dass das Ergebnis nicht davon abhängt, wer die Erhebung leitet, auswertet und deutet. Reliabilität heißt, dass ein Instrument präzise misst, also mit einem möglichst geringen Messfehler. Validität heißt, dass dein Fragebogen genau jenes Merkmal erfasst, das du untersuchen willst. Nach diesem Beitrag kannst du für deine Diplomarbeit begründen, welche Kriterien du erfüllst und wo deine Erhebung an Grenzen stößt.

📌 Das Wichtigste im Überblick

• Objektivität heißt: Das Ergebnis hängt nicht an der auswertenden Person.
• Reliabilität heißt: Das Instrument misst mit geringem Messfehler.
• Validität heißt: Erfasst wird das Merkmal, um das es geht.
• Österreich zählt Fairness und Zumutbarkeit gleichrangig dazu.
• Die Gutachterrichtlinie nennt fünf Kriterien plus vier weitere.

Objektivität, Reliabilität, Validität: welche Gütekriterien in Österreich gelten

Objektivität, Reliabilität und Validität bilden den Kern jeder Qualitätsprüfung eines Messinstruments, und sie beantworten drei getrennte Fragen: Läuft die Erhebung unabhängig von der durchführenden Person ab, misst sie genau, und misst sie das Gemeinte?

Die Reihenfolge der drei Kriterien ist an dieser Stelle kein Zufall, sondern eine Abhängigkeit. Wer in der quantitativen Forschung bei jedem Auswertungsdurchgang zu einem anderen Wert kommt, kann gar nicht genau messen, und wer ungenau misst, kann nichts Gültiges behaupten. Wie streng dieser Zusammenhang ist, hängt vom Paar ab: Für Reliabilität und Validität hält die Testtheorie ihn als formale Bedingung fest, für Objektivität und Reliabilität nicht.

Für Österreich ist diese Aufzählung nicht bloß Lehrbuchwissen, sondern behördlich festgehalten. Die Gutachterrichtlinie des Bundesministeriums für Soziales, Gesundheit, Pflege und Konsumentenschutz nennt in ihrer 4. Fassung von Juni 2020 Objektivität, Reliabilität, Validität, Fairness und Zumutbarkeit als psychometrische Gütekriterien standardisierter psychologischer Erhebungsmethoden. Als weitere Gütekriterien führt die Richtlinie Eichung, Ökonomie, Nützlichkeit und Unverfälschbarkeit an und verweist dafür auf Kubinger (2019). Nachzulesen ist das in der Gutachterrichtlinie des Sozialministeriums.

Warum Fairness und Zumutbarkeit in Österreich gleichrangig zählen

Fairness und Zumutbarkeit stehen in der österreichischen Gutachterrichtlinie in derselben Aufzählung wie die drei bekannten Kriterien, ohne Rangunterschied. Dahinter steht die Wiener Tradition der psychologischen Diagnostik um Klaus D. Kubinger, auf den die Richtlinie ausdrücklich verweist. Deutsche Darstellungen führen Fairness dagegen meist unter den Nebengütekriterien, also nachgeordnet. Für deine Diplomarbeit heißt das konkret: Nenne fünf Kriterien statt drei und begründe in wenigstens zwei Sätzen, warum dein Fragebogen niemanden benachteiligt und wie lange das Ausfüllen dauert.

Österreich hat kein eigenes Testkuratorium

Ein eigenes Prüfgremium für psychologische Testverfahren gibt es in Österreich nicht. Die Gutachterrichtlinie verweist deshalb auf das deutsche Diagnostik- und Testkuratorium sowie auf die Testrezensionen des ZPID. Denselben Weg geht die Normung: Die ÖNORM D 4000:2017-12-15 zur Auswahl und Entwicklung von Personal führt die deutsche DIN 33430:2016-07 als normative Verweisung, Österreich übernimmt die Norm also formal. Wer in der Defensio nach den geltenden Standards gefragt wird, kann genau das sagen, statt zu improvisieren.

Als Lehrbuch bleibt „Testtheorie und Fragebogenkonstruktion“ von Helfried Moosbrugger und Augustin Kelava (Springer, 2012) auch an österreichischen Instituten die geläufige Referenz; dort stehen zehn Gütekriterien. Tragend ist für eine österreichische Arbeit dennoch die Richtlinie, weil sie die hiesige Praxis abbildet. Welche Kriterien in beiden Forschungslogiken nebeneinanderstehen, steht im Beitrag zu den Gütekriterien empirischer Forschungsmethoden.

Objektivität: Bleibt das Ergebnis gleich, egal wer den Fragebogen einsetzt?

Objektivität liegt vor, wenn ein Verfahren das gemessene Merkmal unabhängig von Testleitung und Auswertung erfasst und wenn für die Deutung anwenderunabhängige Regeln vorliegen. Praktisch bedeutet das, dass die durchführende Person keinen Spielraum bekommt.

Online-Befragungen erfüllen dieses Kriterium leichter als jedes mündliche Verfahren, weil zwischen Forschung und Befragten kein Gespräch stattfindet. Deshalb greifen so viele Studierende an österreichischen Instituten zur standardisierten Online-Erhebung. Unterschieden werden drei Aspekte der Objektivität, und in einer Diplomarbeit gehört jeder davon einzeln begründet.

Durchführungsobjektivität: für alle Befragten dieselben Bedingungen

Durchführungsobjektivität ist erreicht, wenn das Ergebnis nicht davon abhängt, wer die Erhebung leitet. Standardisierung ist der Hebel: Instruktion, Reihenfolge, Zeitvorgaben und Antwortformate liegen vorab fest und ändern sich zwischen zwei Teilnehmenden nicht. Als Ideal gilt, dass die befragte Person die einzige Quelle von Variation in der Situation bleibt. Wer eine Online-Umfrage erstellt, erfüllt dieses Ideal fast von selbst: Der Fragebogen wird einmal angelegt und danach allen Teilnehmenden identisch ausgeliefert, ohne dass jemand vorliest, erklärt oder nachfragt.

Auswertungsobjektivität: gleiche Antworten führen zur gleichen Zahl

Auswertungsobjektivität ist erreicht, wenn verschiedene Personen aus identischen Antworten dasselbe Ergebnis gewinnen. Bei geschlossenen Fragen gibt es nichts zu deuten, die Zuordnung ist eindeutig. Sobald offene Fragen hinzukommen, sinkt dieser Wert, weil Freitexte in Kategorien überführt werden müssen. Ausschlussgrund ist das keiner, doch der Kategorienplan gehört dokumentiert und vor dem ersten Lesen der Antworten festgelegt. Die Übereinstimmung zwischen zwei kodierenden Personen lässt sich außerdem als Interrater-Reliabilität in einer Zahl ausdrücken, und genau das macht aus einer Behauptung einen Beleg.

Interpretationsobjektivität: gleiche Werte führen zur gleichen Schlussfolgerung

Interpretationsobjektivität ist erreicht, wenn Fachleute aus demselben Zahlenwert dieselbe Schlussfolgerung ziehen. In der Praxis bleibt sie der schwächste der drei Aspekte, denn dafür bräuchte es Normwerte oder klar begründete Schwellen. Bei einer eigenen Erhebung ohne Eichstichprobe existieren solche Normen schlicht nicht. Was du stattdessen tun kannst: die Interpretationsregeln vorab festhalten und im Methodenteil nennen, statt sie nachträglich am Ergebnis auszurichten.

Reliabilität: Wie genau misst dein Fragebogen?

Reliabilität bezeichnet die Messgenauigkeit eines Verfahrens. Ein Instrument gilt als reliabel, wenn es das erfasste Merkmal ohne Messfehler erfasst, und ausgedrückt wird das im Reliabilitätskoeffizienten, der zwischen 0 und 1 liegt.

Ein Wert von 1 stünde für eine Messung ganz ohne Fehleranteil, ein Wert von 0 dafür, dass ausschließlich Messfehler den Wert erzeugt haben. Moosbrugger und Kelava (2012) schreiben, der Reliabilitätskoeffizient eines guten Tests sollte 0,7 nicht unterschreiten. Diese Zahl kursiert im Netz meist ohne Beleg. Sie steht in Kapitel 2 des Lehrbuchs als Soll-Angabe und nicht als Grenzwert, ab dem eine Skala unbrauchbar wäre.

Vier Verfahren sind in der Klassischen Testtheorie gebräuchlich, um die Reliabilität zu bestimmen. Welches davon für deine Arbeit infrage kommt, entscheidet weniger die Statistik als die Frage, ob du deine Befragten ein zweites Mal erreichst.

Als Königsweg gilt die Paralleltest-Reliabilität, weil sie Übungs- und Erinnerungseffekte ausschaltet. Für eine Diplom- oder Masterarbeit scheitert sie an der Voraussetzung, zwei Fragebogenversionen mit denselben wahren Werten zu bauen. Übrig bleibt fast immer die innere Konsistenz.

Cronbachs Alpha: was der Wert leistet und was nicht

Cronbachs Alpha beschreibt, wie eng die Items einer Skala untereinander zusammenhängen, und misst damit die innere Konsistenz. Verbreitet ist der Wert vor allem deshalb, weil jede Statistiksoftware ihn ausgibt, und überinterpretiert wird er entsprechend oft. Ein hoher Alpha-Wert belegt nämlich nicht, dass eine Skala nur ein einziges Merkmal erfasst, und er wächst schon dadurch, dass eine Skala mehr Items bekommt.

Streng ist auch die Annahme dahinter: Alle Items sollen gleich stark auf dasselbe Merkmal laden. Trifft das nicht zu, unterschätzt Alpha die tatsächliche Reliabilität. Klaas Sijtsma hat diese Einschränkungen 2009 in der Fachzeitschrift Psychometrika ausführlich dargelegt, und als Alternative wird seitdem häufig McDonalds Omega genannt. Für deine Arbeit folgt daraus nicht, dass du Omega rechnen musst. Es folgt daraus, dass du Alpha mit einem Halbsatz einordnest, statt es als Beweis zu präsentieren.

Was du tust, wenn Cronbachs Alpha zu niedrig ausfällt

Ein niedriger Alpha-Wert ist kein Grund, eine Skala stillschweigend aus der Arbeit zu nehmen. Der Wert ist ein Befund, und für den Umgang damit gibt es drei nachvollziehbare Wege: die Skala so berichten, wie sie ausfällt, einzelne Items begründet ausschließen oder die Auswertung auf die Einzelitems umstellen. Welcher Weg passt, zeigt die Trennschärfe der Items.

Die Trennschärfe wird meist als Item-Rest-Korrelation ausgewiesen, also als Zusammenhang eines Items mit der Summe der übrigen Items derselben Skala. Die Item-Gesamt-Korrelation rechnet das Item in die Summe hinein und fällt deshalb systematisch höher aus, bei kurzen Skalen deutlich. Ein Item mit sehr niedriger Item-Rest-Korrelation ist der erste Kandidat für den Ausschluss. Steht dort ein negatives Vorzeichen, lohnt zuerst der Blick, ob eine umgekehrt formulierte Frage vor der Auswertung umkodiert wurde. Ein Umkodierungsfehler ist der häufigste rein technische Grund für ein kaputtes Alpha.

Zwei Randbedingungen gehören in die Einordnung. Die Länge der Skala ist die erste: Alpha steigt mit der Zahl der Items, auch ohne dass die Messung besser wird, und eine Skala aus drei Items erreicht selten hohe Werte. Die Zahl der auswertbaren Antworten ist die zweite: Bei kleinen Stichproben schwankt der Alpha-Schätzer stark, der Wert ist dann eine wacklige Punktschätzung und kein Messergebnis.

Gerechnet wird Alpha mit Statistiksoftware und nicht von Hand. SPSS gibt Koeffizient und Item-Rest-Korrelationen in derselben Ausgabe aus, in R leistet das Paket psych dasselbe, und JASP wie jamovi sind kostenlose Oberflächen, die beide Werte ebenfalls mitliefern. Voraussetzung bleibt in jedem Fall, dass die Items überhaupt eine Skala bilden: dasselbe Antwortformat, dieselbe Stufenzahl, dieselbe Richtung. Eine Likert-Skala ist dafür der Normalfall.

Interrater-Reliabilität: wenn zwei Personen dasselbe Material beurteilen

Interrater-Reliabilität gibt an, wie stark zwei oder mehr unabhängig urteilende Personen bei demselben Material zur selben Einschätzung kommen. Gebraucht wird sie, sobald Daten nicht angekreuzt, sondern zugeordnet werden: offene Antworten, Beobachtungen, Interviewpassagen, Bewertungen von Texten oder Bildern.

In der Systematik der Gütekriterien sitzt die Interrater-Reliabilität an einer Nahtstelle. Gemessen wird eine Übereinstimmung zwischen Personen, und damit prüft sie im Kern die Auswertungsobjektivität. Berichtet wird sie trotzdem als Reliabilität, weil sie wie jeder Reliabilitätskoeffizient einen Messfehleranteil ausdrückt. Die österreichische Gutachterrichtlinie führt Objektivität und Reliabilität ohnehin in derselben Aufzählung, weshalb in einer österreichischen Arbeit weniger die Zuordnung erklärt werden muss als die Zahl selbst.

Interrater, Intrarater, Intercoder: wer mit wem verglichen wird

Die vier gängigen Begriffe unterscheiden sich darin, wer verglichen wird, nicht darin, wie gerechnet wird. Dieselbe Formel findet sich daher hinter verschiedenen Namen, und genau daraus entsteht die verbreitete Verwirrung. Für den Methodenteil zählt, dass du den Namen wählst, der zu deinem Material passt.

• Interrater-Reliabilität: zwei oder mehr Personen beurteilen dasselbe Material. Der Normalfall in einer Diplomarbeit mit offenen Fragen.
• Intrarater-Reliabilität: dieselbe Person beurteilt dasselbe Material ein zweites Mal, mit zeitlichem Abstand. Der Wert zeigt, ob ein Kategorienplan auch für eine einzelne Person stabil bleibt.
• Intercoder-Reliabilität: derselbe Gedanke in der Inhaltsanalyse, wo die urteilenden Personen Kodierende heißen. Interrater und Intercoder meinen in der Praxis dasselbe.
• Interobserver-Reliabilität: derselbe Gedanke in der Beobachtungsforschung, wo nicht Material kodiert, sondern Verhalten protokolliert wird.

Cohens Kappa, Krippendorffs Alpha und der ICC

Die prozentuale Übereinstimmung allein reicht als Belegzahl nicht aus, weil zwei Personen auch durch Zufall häufig gleich urteilen. Je weniger Kategorien ein Plan enthält, desto größer fällt dieser Zufallsanteil aus: Bei zwei Kategorien trifft blindes Raten in rund der Hälfte der Fälle zu. Die gebräuchlichen Koeffizienten rechnen den Zufallsanteil deshalb heraus.

Für die Höhe dieser Werte gibt es keine Schwelle, die aus einer Norm folgt. Verbreitet sind Einteilungen, die ab etwa 0,6 von substanzieller und ab etwa 0,8 von sehr hoher Übereinstimmung sprechen; sie gehen auf Vorschläge einzelner Autoren zurück und nicht auf einen verbindlichen Standard. Nenne deshalb den Wert, das verwendete Verfahren und die Quelle der Einteilung, auf die du dich stützt, statt eine Grenze als gegeben hinzustellen.

Interrater-Reliabilität in der eigenen Erhebung erheben

Der Aufwand ist kleiner, als die Begriffe vermuten lassen, und er fällt ohnehin an, sobald offene Fragen im Fragebogen stehen. Fünf Schritte reichen, und der dritte ist der entscheidende: Ohne unabhängiges Urteil gibt es keine Zahl, die etwas belegt.

• Kategorienplan schreiben, bevor die erste Antwort gelesen wird, mit einer Beschreibung und einem Beispiel je Kategorie.
• Eine zweite Person einarbeiten, meist eine Studienkollegin oder einen Studienkollegen am Institut.
• Beide kodieren unabhängig voneinander denselben Teil des Materials, häufig zehn bis zwanzig Prozent der Antworten.
• Koeffizient rechnen, Abweichungen durchsprechen, Kategorienplan nachschärfen.
• Erst danach das restliche Material kodieren und den Wert aus dem ersten Durchgang berichten.

Was dabei entsteht, ist mehr als eine Kennzahl im Methodenteil. Ein Kategorienplan, den zwei Personen gleich anwenden können, macht die anschließende Auswertung überhaupt erst nachvollziehbar. Wie es von dort zu Häufigkeiten, Mittelwerten und Kreuztabellen weitergeht, steht im Leitfaden zum Fragebogen auswerten.

Validität: Trifft der Fragebogen wirklich das gemeinte Merkmal?

Validität liegt vor, wenn ein Verfahren jenes Merkmal erfasst, das es erfassen soll, und kein anderes. Für die Testpraxis gilt sie als das wichtigste Gütekriterium überhaupt, weil von ihr die Aussagekraft sämtlicher Ergebnisse abhängt.

Anders als bei der Reliabilität existiert keine einzelne Kennzahl, die Validität belegt. Zusammengetragen wird sie aus mehreren Belegarten, und je nach Anwendungsfall ist nur ein Teil davon überhaupt prüfbar. Vier Aspekte werden unterschieden, und genau so sollten sie auch im Methodenteil heißen.

• Inhaltsvalidität: Decken die Items den Merkmalsbereich repräsentativ ab? Beantwortet wird das durch fachliche Überlegung und Expertenurteil, nicht durch Rechnung.
• Augenscheinvalidität: Wirkt der Anspruch des Verfahrens auf fachfremde Personen plausibel? Betroffen ist damit die Akzeptanz, nicht die Aussagekraft.
• Konstruktvalidität: Trägt der Schluss vom Antwortverhalten auf das dahinterliegende Merkmal theoretisch? Belegt wird er über zwei Richtungen: Ein hoher Zusammenhang mit Verfahren, die dasselbe Merkmal erfassen, heißt konvergente Validität. Ein bewusst niedriger Zusammenhang mit Verfahren, die etwas anderes erfassen, heißt diskriminante Validität. Erst beide zusammen tragen das Argument, denn ein Fragebogen, der mit allem korreliert, grenzt sein Merkmal nicht ab.
• Kriteriumsvalidität: Lässt sich vom Testwert auf Verhalten außerhalb der Testsituation schließen? Liegt das Kriterium gleichzeitig vor, heißt es Übereinstimmungsvalidität, liegt es in der Zukunft, Vorhersage- oder prädiktive Validität.

Der häufigste Fehler: Inhaltsvalidität ist nicht Augenscheinvalidität

Häufig liest man, Inhaltsvalidität und Augenscheinvalidität bezeichneten dasselbe. Zutreffend ist das nicht, und Moosbrugger und Kelava benennen die Verwechslungsgefahr im Lehrbuch ausdrücklich. Unterschieden wird danach, wer urteilt und woraufhin: Inhaltsvalidität ist ein Fachurteil über die Abdeckung des Merkmalsbereichs, Augenscheinvalidität der Eindruck fachfremder Personen, dass ein Verfahren plausibel aussieht. Ein Fragebogen kann also überzeugend wirken und trotzdem am Merkmal vorbeimessen.

Interne und externe Validität gehören zu einer anderen Systematik

Interne und externe Validität bewerten nicht ein Messinstrument, sondern ein Untersuchungsdesign. Interne Validität fragt, ob ein Ursachenschluss innerhalb der Studie trägt, also ob die beobachtete Wirkung tatsächlich von der untersuchten Ursache stammt und nicht von einer dritten Größe. Externe Validität fragt, ob ein Ergebnis über die untersuchte Situation hinaus gilt, für andere Personen, andere Orte, andere Zeitpunkte.

Zwischen beiden besteht ein Zielkonflikt, und genau der macht das Begriffspaar für eine Methodendiskussion wertvoll. Ein Laborexperiment mit strenger Kontrolle erreicht hohe interne und oft niedrige externe Validität, weil die Situation künstlich bleibt. Eine Befragung im Alltag verhält sich umgekehrt. Eine standardisierte Online-Erhebung liegt dazwischen: Sie läuft in der gewohnten Umgebung der Befragten, lässt aber kaum zu, Ursache und Wirkung sauber auseinanderzuhalten.

Inhalts-, Konstrukt- und Kriteriumsvalidität gehören nicht in dieselbe Liste wie interne und externe Validität. Die erste Gruppe bewertet ein Messinstrument, die zweite ein Design. Viele Zusammenfassungen sortieren interne und externe Validität trotzdem als Unterarten der Konstruktvalidität ein. Wer das übernimmt, verliert genau jene Genauigkeit, die im Methodenteil bewertet wird.

Objektivität, Reliabilität, Validität: wie die drei zusammenhängen

Reliabilität ist die Voraussetzung für Validität, und diese Abhängigkeit gilt nur in eine Richtung. Moosbrugger und Kelava halten fest, dass Objektivität und Reliabilität lediglich günstige Voraussetzungen für eine hohe Validität schaffen und dass ein Verfahren mit niedriger Reliabilität keine hohe Validität erreichen kann.

Die Aussage der beiden Autoren wirkt unscheinbar und trägt trotzdem die ganze Systematik. Eine zuverlässige Messung kann am Thema vorbeigehen, eine unzuverlässige Messung dagegen niemals gültig sein. Die Objektivität geht dem in der Praxis voraus, weil eine Erhebung mit großem Auswertungsspielraum kaum stabile Werte liefert. Als formale Bedingung ist das im Lehrbuch allerdings nicht formuliert, anders als die Beziehung zwischen Reliabilität und Validität.

Eine Personenwaage, die konstant zwei Kilogramm zu viel anzeigt, macht den Unterschied greifbar. Objektiv ist sie, weil sie bei jeder Person nach denselben Regeln arbeitet, und reliabel ist sie, weil drei Messungen hintereinander denselben Wert ergeben. Valide ist sie trotzdem nicht, denn sie misst systematisch daneben. Genau dieser Fall, hohe Reliabilität bei niedriger Validität, ist in Fragebögen der häufigste und fällt in den Kennzahlen nicht auf.

Was daraus für die Reihenfolge im Methodenteil folgt

• Kläre zuerst, ob die Erhebung für alle gleich abläuft.
• Prüfe danach die innere Konsistenz deiner Skalen.
• Begründe zuletzt die Abdeckung des Merkmalsbereichs.
• Ergänze Fairness und Zumutbarkeit als eigene Punkte.
• Berichte einen schwachen Wert, statt ihn wegzulassen.

Ein reliabler Fragebogen misst zuverlässig. Ob er das Richtige misst, steht damit noch nicht fest.

Gelten Objektivität, Reliabilität und Validität auch qualitativ?

Objektivität, Reliabilität und Validität sind für standardisierte Messungen entwickelt worden und lassen sich auf qualitative Verfahren nicht unverändert übertragen. Ein Leitfadeninterview soll gerade nicht bei jeder Wiederholung dasselbe ergeben, weil es auf die einzelne Person eingeht.

Entstanden sind in der qualitativen Sozialforschung deshalb eigene Kriterienkataloge. Am bekanntesten ist der Vorschlag von Yvonna Lincoln und Egon Guba aus „Naturalistic Inquiry“ (Sage, 1985) mit Glaubwürdigkeit, Übertragbarkeit, Verlässlichkeit und Bestätigbarkeit. Im deutschsprachigen Raum wird daneben häufig auf die Kernkriterien von Ines Steinke verwiesen, die die intersubjektive Nachvollziehbarkeit des Vorgehens in den Mittelpunkt stellen.

Praktisch bleibt die Folge für deine Arbeit überschaubar. Wer qualitativ erhebt, schreibt nicht über Cronbachs Alpha, sondern dokumentiert Auswahl, Ablauf und Auswertung so genau, dass eine andere Person den Weg nachvollziehen kann.

Gütekriterien in der Diplomarbeit: wohin sie in der Gliederung gehören

Gütekriterien haben in einer Diplomarbeit keinen fixen Platz in der Gliederung. Üblich sind zwei Varianten, und beide sind vertretbar: ein eigener Unterpunkt im Kapitel zum Forschungsdesign oder ein Abschnitt in der Reflexion des eigenen Vorgehens.

Welche der beiden passt, hängt davon ab, wie stark die Methodenwahl für deine Forschungsfrage begründungsbedürftig ist. Steht die Methode im Zentrum, gehören die Kriterien nach vorn ins Design. Geht es stärker um inhaltliche Erkenntnisse, wirken sie in der Reflexion natürlicher. Kläre das im Zweifel mit deiner Betreuung, denn manche Institute in Österreich haben dazu eine feste Erwartung.

Variante 1: Gütekriterien als eigener Unterpunkt im Forschungsdesign

Variante 1 passt, wenn du deine Methodenwahl ausführlich begründest und die Gütekriterien Teil dieser Begründung sind. Der Vorteil ist, dass die Lesenden die Qualitätsfrage geklärt haben, bevor sie die Ergebnisse sehen. Der Preis ist, dass du an dieser Stelle noch nicht weißt, welche Skalen sich später als schwach erweisen, und deshalb mit einem Nachtrag rechnen musst. Für eine österreichische Arbeit lohnt sich hier zusätzlich ein eigener Absatz zu Fairness und Zumutbarkeit, weil beide in der Gutachterrichtlinie gleichrangig stehen.

1. Einleitung mit Forschungsfrage
2. Theorie und Forschungsstand
3. Forschungsdesign, darin: Hypothesen, Methodenwahl, Grundgesamtheit und Stichprobe, Variablen, Fragenkatalog, Gütekriterien mit je einem Unterpunkt für Objektivität, Reliabilität, Validität, Fairness und Zumutbarkeit
4. Datenerhebung
5. Datenauswertung
6. Ergebnisse
7. Reflexion des Vorgehens
8. Fazit

Variante 2: Gütekriterien als Abschnitt in der Reflexion des Vorgehens

Variante 2 passt, wenn du die Grenzen deiner Erhebung erst im Licht der Ergebnisse sauber benennen kannst. Der Aufbau bleibt derselbe, nur wandern die Gütekriterien in Punkt 7 und werden dort gemeinsam mit den Einschränkungen der Arbeit diskutiert. Der Vorteil liegt in der Ehrlichkeit, weil du über tatsächlich erreichte Werte schreibst statt über Absichten. Der Preis ist, dass die Methodenkritik weit hinten steht und leicht überlesen wird.

Bewertet wird in beiden Varianten dasselbe: nicht, ob eine Erhebung alle Kriterien erfüllt, sondern ob nachvollziehbar wird, welche erfüllt sind und wo die Grenzen liegen.

Typische Fehler bei den Gütekriterien

Abzüge im Methodenteil entstehen meist nicht durch schwache Kennzahlen, sondern durch Aussagen, die mehr behaupten, als die Daten hergeben. Drei Fehler tauchen besonders häufig auf.

Alle drei Fehler gehen auf dieselbe Ursache zurück: Ein Gütekriterium wird für etwas in Anspruch genommen, wofür es nicht gemacht ist. Wer die Kriterien sauber auseinanderhält, umgeht die Fehler fast von allein, und der Methodenteil wird dabei sogar kürzer statt länger.

Fehler 1: hohe Reliabilität als Beweis für Validität ausgeben

Ein Cronbachs Alpha von 0,89 zeigt, dass die Items einer Skala eng zusammenhängen. Über die Frage, ob diese Items das gemeinte Merkmal erfassen, sagt der Wert nichts. Wer nach dem Alpha-Wert schreibt, die Skala sei damit valide, zieht genau jenen Schluss, den die Testtheorie ausschließt. Ausweg ist ein zusätzlicher Absatz zur Inhaltsvalidität, in dem du die Abdeckung des Merkmalsbereichs begründest.

Fehler 2: Objektivität abhaken, weil die Umfrage online läuft

Eine Online-Umfrage sichert vor allem die Durchführungsobjektivität, weil alle Befragten dasselbe sehen. Auswertungs- und Interpretationsobjektivität bleiben davon unberührt. Sobald offene Fragen im Bogen stehen oder Schwellenwerte frei gewählt werden, entsteht wieder Spielraum. Ausweg ist, alle drei Aspekte getrennt zu benennen, statt Objektivität pauschal als erledigt zu betrachten.

Fehler 3: Fairness und Zumutbarkeit gar nicht erwähnen

Fairness und Zumutbarkeit fehlen in vielen Methodenteilen vollständig, obwohl die österreichische Gutachterrichtlinie sie gleichrangig neben die drei Hauptkriterien stellt. Zwei kurze Absätze genügen: einer dazu, ob Formulierungen oder Antwortformate eine Gruppe systematisch benachteiligen, und einer zur Bearbeitungsdauer und zur Belastung der Teilnehmenden. Wer diese beiden Punkte mitliefert, hebt sich in der Defensio erkennbar von Arbeiten ab, die nur die Trias abarbeiten.

Fazit

Objektivität, Reliabilität und Validität sind keine Hürden, sondern Fragen, die du beantwortest, und in Österreich kommen Fairness und Zumutbarkeit gleichrangig dazu. Vollständige Erfüllung ist auch in professionellen Studien die Ausnahme. Erwartet wird, dass du die Kriterien auseinanderhältst und offenlegst, wo deine Erhebung an Grenzen stößt.

Wie es weitergeht

• Du willst den Fragebogen selbst aufbauen? Fragebogen erstellen: Anleitung und Aufbau
• Du suchst das passende Auswertungsverfahren? Auswertungsmethoden in der empirischen Forschung
• Du willst den ganzen Ablauf im Blick haben? Empirische Forschung: Definition, Methoden, Leitfaden

Unser Literaturtipp: Die Gutachterrichtlinie des Bundesministeriums für Soziales, Gesundheit, Pflege und Konsumentenschutz (4. Fassung, Juni 2020) ist frei abrufbar und nennt die Gütekriterien in jener Reihenfolge, die in Österreich erwartet wird; als Beleg führt sie Kubinger (2019). Wer die Trias klassisch nachlesen will, findet sie bei Moosbrugger und Kelava (2012) in Kapitel 2 als frei verfügbarer Leseprobe.

Soll deine Befragung von Anfang an standardisiert laufen?

Mit empirio.ai, einem Online-Umfrage-Tool aus Deutschland, bekommen alle Teilnehmenden denselben Fragebogen in derselben Reihenfolge. Damit ist die Durchführungsobjektivität weitgehend abgesichert. Auswertungs- und Interpretationsobjektivität bleiben deine Aufgabe, denn beide hängen an deinen Regeln und nicht am Werkzeug.

Kostenlos ein Konto anlegen