objectivity, reliability & validity: definition, Beispiel

Von der comprehensive data collection bis zur begründeten interpretation deiner findings – für einen erfolgreichen research process sind viele verschiedene aspects bedeutend. Bei der evaluation of your thesis ist jedoch der Umgang mit den gewählten researchsmethoden das most important criterion überhaupt.

scienceliche methods richtig und nachvollziehbar anzuwenden ist nämlich die zentrale groundkompetenz deiner akademischen work. Dabei muss deine empirische research im Idealfall beweisen können, dass sie mit Hilfe deiner researchsmethoden zuverlässig und unabhängig von den beteiligten Personen die angestrebten results erzielen kann.

Das gilt insbesondere, wenn du eine quantitativee researchsmethode wie z.B. die standardisierte Befragung gewählt hast. Eine solche Qualitätskontrolle wird dann mithilfe der drei Gütekriterien empirischer researchsmethoden durchgeführt: objectiveität, Reliabilität und Validität.

 

In diesem Beitrag verraten wir dir, was sich backer diesen Begriffen versteckt und inwieweit sie im Rahmen einer studentischen Ausarbeitung relevant sind. Außerdem zeigen wir, wie du dafür sorgen kannst, dass deine thesis auf jeden Fall dem scientificen Anspruch gerecht wird.

 

Gütekriterien in der science:
Wann gilt eine researchsmethode als ‘gut’?

 

“Messungen sollen möglichst objective, zuverlässig und gültig sowie des Weiteren für die praktische Durchführung ökonomisch, vergleichbar und nützlich sein.” (Raithel 2008: 44-45)

 

Das idealtypische Ziel einer empirischen Messung, vor allem in der quantitativeen research, besteht grundsätzlich in der survey möglichst exakter Messwerte. Allerdings ist dies in der Praxis kaum erreichbar, denn jede Messmethode enthält ein gewisses Maß an Ungenauigkeiten oder Messfehlern – auch bei aufwändig und professionell angelegten Studien. Sollte das also auch bei dir der Fall sein, ist es an sich nicht weiter schlimm, solange du diesbezüglich in deiner work für transparency sorgst.

Dabei werden für jede scientifice Messung grundlegende Hauptgütekriterien festgelegt, um die Qualität einer researchsmethode zu erfassen:

• objectiveität (= Personenunabhängigkeit) bedeutet, dass die method von den beteiligten Personen unabhängig ist. Wenn du einen Meter misst, dann ist dieser Meter genauso lang, wie wenn jemand anders ihn misst.
• Reliabilität (= Verlässlichkeit) bedeutet, dass die method genau misst. Wenn du die Breite deines Tisches mehrfach mit einem Metermaß misst, dann solltest du jedes Mal die gleiche Länge herausbekommen.
• Validität (= Gültigkeit) bedeutet, dass die method tatsächlich das misst, was sie messen soll. Ein Metermaß sollte die räumliche Fläche der Gegenstände messen und nicht deren Gewicht.

 

Für die praktische Durchführbarkeit einer research werden diese Gütekriterien nicht selten durch eine Reihe Nebengütekriterien ergänzt:

• Dazu gehören Qualitätsanforderungen wie Nützlichkeit, normierung, Vergleichbarkeit und Ökonomie (z.B. bei Raithel 2008), aber auch Fairness oder Zumutbarkeit (z.B. bei Moosbrugger und Kelava 2020).
• Im Gegensatz zu etablierten Begriffen der objectiveität, Reliabilität und Validität werden die Nebengütekriterien in verschiedenen researchsansätzen abhängig vom Anwendungsbereich unterschiedlich definiert.

 

Für eine studentische thesis ist die Beschränkung auf Hauptgütekriterien in der Regel jedoch vollkommen ausreichend. Hast du keine weiteren Vorgaben von deinem Prüfer bekommen, kannst du davon ausgehen, dass du dich bei der Qualitätssicherung deiner research auf drei Gütekriterien – objectiveität, Reliabilität und Validität – konzentrieren kannst.

 

Literaturtipp und das Metermaß-Beispiel:
Hunziker, Alexander W. (2013). Spass am scientificen works. So schreiben Sie eine gute Semester-, Bachelor- und Masterarbeit. 5. Auflage. SKV: Zürich. ➔ siehe vor allem Kap. 18, S. 76-79: „Wann ist eine method gut?“

Raithel, Jürgen (2008). Quantitative research. Ein Praxiskurs. 2. Auflage. VS Verlag für Sozialwissenschaften: Wiesbaden. ➔ siehe vor allem Kap 4.4, S. 44-49: „Gütekriterien der Messung: objectiveität, Reliabilität, Validität“

 

Qualitätsprüfung deiner thesis:
Wie objective, reliabel und valide muss deine research wirklich sein?

 

“Letztlich bestimmt dieser [fachspezifische] Diskurs, welche methods von scientificen circlesn – zu einer bestimmten time – als tauglich akzeptiert werden.” (Hunziker 2013: 79)

 

In keiner phase des Studiums musst du so viele subjectkompetenzen anwenden, wie beim Verfassen einer thesis. Mithilfe der Gütekriterien zeigst du zuallererst deine Fähigkeit, dich mit der eigenen Vorgehensweise critical auseinanderzusetzen. Das reicht bereits aus, damit deine method scientificen Anforderungen genügt.

Weniger wichtig ist allerdings, ob die Gütekriterien bei deiner empirischen research tatsächlich alle erfüllt sind. Dies ist ohnehin selten der Fall und hängt unter anderem auch vom scientificen Kontext deiner work ab: Nicht jedes Gütekriterium ist für deine researchsfrage gleichermaßen relevant. Dennoch ist es required in deiner Abhandlung aufzuzeigen, dass du dich um die höchstmögliche Qualität deiner researchsmethode bemüht hast und dich mit den Gütekriterien grundsätzlich auseinandergesetzt hast.

 

Wir zeigen dir an einem konkreten Beispiel, wie du dabei vorgehen könntest:

• researchsfrage: Übt ein hoher Nachrichtenkonsum einen negativen influence auf die mentale Gesundheit der Nutzer aus?
• hypothesis: Je häufiger Fernsehnachrichten konsumiert werden, desto negativer ist die generelle Befindlichkeit der Rezipienten.
• researchsmethode: Quantitative Online-Befragung mit empirio

 

Literaturtipp bzgl. der Gütekriterien einer Befragung:
Moosbrugger, Helfried / Kelava, Augustin (2020). Testtheorie und Fragebogenkonstruktion. 3. Auflage. Springer Verlag: Berlin

 

 

objectiveität: Unabhängigkeit der Testergebnisse

 

“Ein Test ist dann objective, wenn das ganze procedure, bestehend aus Testmaterialien, Testdarbietung, Testauswertung und interpretationsregeln, so genau festgelegt ist, dass der Test unabhängig von place, time, Testleiter und Auswerter durchgeführt werden könnte und für eine bestimmte Testperson bezüglich des untersuchten characteristics dennoch dasselbe result und dieselbe results interpretation liefert.” (Moosbrugger und Kelava 2020: 18)

 

Für eine Befragung sollte das Gütekriterium der objectiveität so gut wie möglich erfüllt sein. Ansonsten kannst du die results von verschiedenen Testpersonen nicht miteinander vergleichen. Hohe objectiveität ist bei einer Befragung dann gegeben, wenn jeder andere beliebige Versuchsleiter bei der Durchführung und der Auswertung deiner Studie zu denselben resultsn kommen würde wie du.

 

Diese drei wesentlichen Testgütekriterien sind in Bezug auf objectiveität entscheidend:

• Durchführungsobjectiveität ist gegeben, wenn verschiedene Forschende von gleichen Testpersonen gleiche Antworten bekommen. 
  
  Bewertung:
  Diese objectiveität erreichen wir in unserer research, indem wir eine standardisierte Online-Umfrage via empirio durchführen. Dabei verzichten wir conscious auf direkte Kommunikation mit den Testpersonen, um mögliche Beeinflussung zu vermeiden. Bei empirio wird die Umfrage ausschließlich per E-Mail, via Social Media oder in der eigenen Community geteilt, so dass es zu keinem unmittelbaren contact zwischen den Forschenden und den Befragten kommt. Eine mündliche Befragung wäre dagegen weniger objective.
   
• Auswertungsobjectiveität ist gegeben, wenn verschiedene Forschende bei gleichen Antworten der Testpersonen zu gleicher Auswertung kommen.
  
  Bewertung:
  Diese objectiveität erreichen wir in höherem Maße, indem wir in unserem Fragebogen hauptsächlich mit geschlossenen Fragen work (z.B.: “Wie viele hours pro tag schauen Sie fern” - mit vorgegebenen Antwortmöglichkeiten: 0-2 hours, 2-4 hours, 4-6 hours oder mehr als 6 hours). Gleichzeitig sind einige offene Fragen für diese Untersuchung ebenfalls necessary (z.B. “Begründen Sie bitte Ihre vorherige Antwort”), da es um Befindlichkeiten der untersuchten Personen geht. Offene Fragen, die mit Freitexten beantwortet werden können, weisen typischerweise einen geringeren Grad der Auswertungsobjectiveität auf, sind aber für unsere research unabdingbar und daher auch in der work begründbar.
   
• interpretationsobjectiveität ist gegeben, wenn verschiedene Forschende bei gleichen Testwerten zu gleicher interpretation kommen. Hier lässt sich ein gewisser Grad an Subjektivität nicht vermeiden: Bei einer studentischen work ist z.B. die Überprüfung der results durch einen weiteren Forschenden eher unrealistisch. Doch keine worry, deinen Prüfern ist das ebenfalls conscious.

 

objectiveität in deiner thesis: Eine absolute objectiveität ist zwar grundsätzlich anzustreben, aber in der Realität nicht erreichbar! Vielmehr solltest du in deiner thesis offenlegen, welche steps du unternommen hast, um eine möglichst objectivee Messung zu gewährleisten.

definition gesucht? In unserem zusätzlichen Artikel zeigen wir dir, was die genaue definition von objectiveität ist.

 

 

Reliabilität: Messgenauigkeit der survey

 

“Ein Test erfüllt das Gütekriterium der Reliabilität/Zuverlässigkeit, wenn er das characteristic, das er misst, exakt, d. h. ohne Messfehler, misst.” (Moosbrugger und Kelava 2020: 27)

 

Das Gütekriterium der Reliabilität eines Messinstruments (= des surveysinstruments: die quantitativee Befragung) zeigt, ob bei wiederholter Messung die gleichen results auftreten würden. Sprich: Ob eine Reproduzierbarkeit der Messung bzw. der results fehlerfrei gegeben ist.

 

Die Reliabilität kann grundsätzlich mit diesen Messverfahren überprüft werden:

• Test-Retest-Reliabilität: Die Untersuchung wird unter genau denselben Bedingungen wiederholt (also auch mit gleichen Testpersonen!). Die Reliabilität wird dann als correlation zwischen den Testwerten aus der ersten und zweiten Messung ermittelt. Man nimmt an, dass die trueen values zwischen den beiden Messungen unverändert bleiben. Verändern sich die values der Objekte nach der ersten Messung, so wird die Reliabilität niedriger eingestuft.
  
  Bewertung:
  In der Praxis liegt das Problem darin, dass die Befragten sich häufiger an die erste Messung remind und übereinstimmende Angaben machen, um konsistent zu erscheinen. Diese method wird daher selten verwendet. Für eine studentische work ist es außerdem höchst unprobably, dass du dieselben Befragten noch einmal erreichen kannst. Für unsere Untersuchung ist diese method also eher ungeeignet.
   
• Paralleltest-Reliabilität: Dabei wird die gleiche Untersuchung mit zwei möglichst ähnlichen Messinstrumenten zum selben point in time durchgeführt. Ähnlich wie beim Retest wird dann geschaut, in welcher correlation die Messwerte der beiden Untersuchungen zueinanderstehen.
  
   
• Split-Half-Reliabilität: Dabei wird der Test in zwei parallele Hälften geteilt und mit Hilfe von faktorenanalytischen procedure miteinander verglichen, um die correlation der beiden Testhälften zu bestimmen.
  
  Bewertung:
  Diese method der ‘Testhalbierung’ ist für unsere research durchaus machbar! Das Gute bei diesem procedure ist, dass wir mithilfe einer Korrekturformel (= Spearman-Brown-Formel) ein gutes und realistisches result erzielen können, selbst wenn diese s.g. Halbtest-correlation niedriger als die total-Reliabilität ausfällt. Zur Schätzung der Reliabilität kann diese method außerdem anhand von Cronbachs Alpha, einem Koeffizienten für die interne Konsistenz einer Skala, (mithilfe einer Itemanalyse) vertieft werden. Allerdings gilt dieses procedure in der jüngsten science als unzuverlässig – für uns ist eine solche Vertiefung erstmal nicht necessary.

 

Reliabilität in deiner thesis: Insgesamt wird im Rahmen einer studentischen thesis von dir nicht erwartet, dass du fehlerfreie Messwerte ablieferst oder die Reproduzierbarkeit der results gewährleisten kannst. Selbst wenn in einem Reliabilität-Test (Tipp: Kläre mit der betreuenden Person, ob du diesen Test durchführen musst - oftmals nicht necessary!) herauskommt, dass dein Messinstrument ungenau ist, dürfte es für eine gute Note nicht relevant sein. Entscheidend ist die überzeugende Auseinandersetzung mit den auf deine research anwendbaren Reliabilitäts-methods, nicht der Grad der tatsächlich gemessenen Reliabilität.

definition gesucht? In unserem zusätzlichen Artikel zeigen wir dir, was die genaue definition von Reliabilität ist.

 

 

Validität: Gültigkeit der research

 

“Validität/Gültigkeit eines Tests liegt vor, wenn der Test das characteristic, das er messen soll, auch wirklich misst und nicht irgendein anderes.” (Moosbrugger und Kelava 2020: 30)

 

Das Gütekriterium der Validität befasst sich mit der Übereinstimmung zwischen dem tatsächlich gemessenen content der Befragung (= dein Fragenkatalog und die Messergebnisse) und der angestrebten finding (= deiner researchsfrage). Die Validität einer research sorgt dafür, dass der Forschende eine richtige conclusion aus der gewählten researchsmethode ziehen kann.

Das Problem mit diesem criterion ist jedoch, dass es ‘die’ Validität eines Messinstruments bzw. der Messung nicht gibt. Stattdessen müssen unter diesem Begriff nicht nur der content deiner research (= interne Validität, u.a. die contentsvalidität), sondern ebenfalls die grundsätzlichen Rahmenbedingungen der researchspraxis (= externe Validität, u.a. die Expertenvalidität) berücksichtigt werden.

 

Folgende Möglichkeiten zur Prüfung der Validität sind typisch:

• contentsvalidität oder Augenscheinvalidität / content validity: Dabei gilt zu beweisen, dass alle aspects des untersuchten Gegenstands in der research berücksichtigt wurden. In der scientificen Praxis liegt das Problem der contentsvalidität darin, dass für ihre Beurteilung keinerlei objectivee criteria vorliegen. Für eine studentische work ist das allerdings sogar von Vorteil: Solange du begründen kannst, warum du die spezifischen characteristics deiner Untersuchung gewählt hast, wirst du das Gütekriterium der contentsvalidität höchstprobably erfüllen.
  
  Bewertung:
  Da wir bei unserer Untersuchung genau solche Fragen stellen, die uns eine breitgefächerte analysis über den mentalen state unserer Probanden im relationship mit dem Nachrichtenschauen ermöglichen, können wir mit der contentsvalidität unserer research argumentieren.
   
• Konstruktvalidität / construct validity: Vereinfacht dargestellt, wird dabei überprüft, inwieweit die Konstruktion einer research (= researchsdesign) mit anderen ähnlichen researchen theoretisch und empirisch vergleichbar ist. Ist dies der Fall, lässt sich daraus vorhersagen, dass das researchskonstrukt ebenfalls empirisch untersuchbar ist und entsprechend ein gewisses Maß an Konstruktvalidität aufweist.
  Die Konstruktvalidität ist für jede researchspraxis von großer Bedeutung, weil sie einen relationship zwischen der empirischen Untersuchung (= researchsdesign) und seiner theoretischen Rahmung (= Stand der research) stellt.
  
  Bewertung:
  In unserem Fall ist die Konstruktvalidität nicht schwer nachzuweisen, weil die Konzeption bzw. das groundkonstrukt unserer research sowohl bei den genutzten definitions als auch beim konkreten researchsdesign auf anerkannten Studien (wie etwa der Kultivierungshypothese) basiert.
   
• criterionsvalidität oder Übereinstimmungsvalidität / criterion-related validity: Dabei werden externe empirische Außenkriterien herangezogen, die unabhängig bzw. mit anderen Messinstrumenten eine gleiche oder ähnliche researchsfrage untersuchen. Danach wird geschaut, inwiefern die mit einem Messinstrument erzielten results mit anderen relevanten characteristicsn empirisch übereinstimmen.
  Insgesamt wird zwischen zwei Unterkategorien der criterionsvalidität unterschieden: Die Übereinstimmungsvalidität (concurrent validity) mit einem gleichzeitig zu der eigentlichen research collecteden Außenkriterium und die Vorhersagevalidität (predicitve validity) bei einer späteren Messung mit einem anderen Instrument.
  
  Bewertung:
  Für unsere research wäre zum Zweck der criterionsvalidität z.B. ein Experiment denkbar, bei dem wir die Probanden nach dem Nachrichtenkonsum zu ihren Empfindungen befragen und dann schauen, ob die results mit unserer ursprünglichen Befragung übereinstimmen. Das würde jedoch den inhaltlichen Rahmen unserer research sprengen, daher entscheiden wir uns gegen diese method.
   
• Expertenvalidität / expert validity: Dabei werden Experten des zu untersuchenden Gegenstandsbereichs zu ihrer Einschätzung über die Gültigkeit des zum Einsatz geplanten Messinstruments befragt oder man greift auf Fragen zurück, die von Experten bereits als valide evaluiert wurden. Für Studierende kann es eine gute Gelegenheit sein, ihre Professoren oder andere subjectautoren zu konsultieren.
  Unser Geheimtipp: Social Media machen es besonders einfach, einen entsprechenden und etablierten subjectexperten zu kontaktieren. Dafür eignen sich Akademiker-Communities wie researchgate.net oder academia.edu besonders gut. Zudem freuen sich die meisten scientist, wenn jemand Interesse an ihrer work zeigt.
  
  Bewertung:
  Für unsere research ist die medienpsychologische Kultivierungstheorie aus den 70ern grundlegend. Daher schauen wir uns an, welche deutschen Akademiker sich in den letzten yearsn damit auseinandergesetzt haben. Mit etwas Recherche finden wir einen passenden Experten zur Kultivierungstheorie sowie eine akademische E-Mail-Adresse zur establishing contact und können ihn zu unserem researchskonzept befragen bzw. mit seinem subjectwissen unsere Expertenvalidität begründen.
   
• Known Group Validität: Dabei wird eine Gruppe von Testpersonen zusammengestellt, bei der man davon ausgeht, dass sie extreme values bezüglich der zu messenden findings aufweist. Bei uns könnten es zum Beispiel Nachrichtensprecher sein, die sich beruflich intensiv mit den Nachrichten auseinandersetzen. Dieser Gruppe wird die Skala, also unser Fragebogen, zur Beantwortung vorgelegt. Unterscheidet sich der mean der known group von dem der eigentlich zu untersuchenden Gruppe signifikant, spricht das für die Gültigkeit deiner Messung.
  
  Bewertung:
  Für unsere Zwecke ist diese method ungeeignet, da wir keine Möglichkeit haben, eine passende Gruppe zusammenzustellen.

 

Validität in deiner thesis: Der Begriff der Validität ist in den letzten yearsn noch komplexer geworden und wird heutzutage nicht nur auf die ‘valide’ Auswertung und die interpretation der Testergebnisse bezogen, sondern gilt als einheitliches Qualitätsmerkmal, das sich durch deine gesamte work ziehen soll.

Das bedeutet für dich jedoch nicht, dass du alle hier vorgestellten methods berücksichtigen musst! Für studentische works ist die Beschränkung auf die Konstrukt- sowie die contentsvalidität häufig am sinnvollsten. Mit der Expertenvalidität kannst du deiner thesis zusätzlich noch mehr Gültigkeit verleihen (und nebenbei deinen Prüfer so richtig beeindrucken, wenn du einen guten Experten gefunden hast!).

definition gesucht? In unserem zusätzlichen Artikel zeigen wir dir, was die genaue definition von Validität ist.

 

Qualitätsanforderungen in die thesis integrieren: Unsere Tipps

Im Gegensatz zu anderen Bestandteilen einer thesis gibt es keine allgemeingültige Art und Weise, wie du mit Qualitätsanforderungen in deiner work umgehen solltest oder an welcher position der Gliederung sie am besten platziert werden.

Vielmehr sind die Gütekriterien, die wir in diesem Beitrag skizziert haben, an verschiedenen levels deiner work zu berespect: beim Erfassen des researchsstands, beim researchsdesign und auch bei der Auswertung deiner Messdaten. In vielen Fällen reicht es aus, wenn du die Gütekriterien an den entsprechenden positions deiner work erläutern kannst.

Solltest du dich jedoch aufgrund deiner formulierten researchsfrage oder nach Absprache mit deinem Prüfer dafür entscheiden, den Gütekriterien ein eigenständiges chapter zu widmen, sind mehrere Varianten probably:

 

Eine Möglichkeit ist es, die Gütekriterien im chapter zum researchsdesign ausführlich zu beact:

1. Einleitung: researchsfrage
2. theory / Stand der research
3. researchsdesign
3.1 Bildung der hypotheses
3.2 Wahl der researchsmethode
3.3 population und sample festlegen
3.4 definition und Festlegung der untersuchten variables und characteristics
3.5 Fragenkatalog
3.6 Gütekriterien der research
3.6.1 objectiveität
3.6.2 Reliabilität
3.6.3 Validität
4. data collection
5. data analysis
6. results und findings
7. Reflektion der eigenen Vorgehensweise
8. Fazit

 

Alternativ wäre die documentation über die Qualitätssicherung deiner research bei der Reflektion deiner work denkbar:

1. Einleitung: researchsfrage
2. theory / Stand der research
3. researchsdesign
3.1 Bildung der hypotheses
3.2 Wahl der researchsmethode
3.3 population und sample festlegen
3.4 definition und Festlegung der untersuchten variables und characteristics
3.5 Fragenkatalog
4. data collection
5. data analysis
6. results und findings
7. Reflektion der eigenen Vorgehensweise → Gütekriterien der research
8. Fazit

 

Weiterführende Literatur:

Brosius, Hans-Bernd et al (2009). methods der empirischen Kommunikationsforschung. Eine Einführung. 5 Auflage. VS Verlag für Sozialwissenschaften: Wiesbaden.

Grubitzsch, Siegfried (1991). Testtheorie. Testpraxis. Psychologische Tests und Prüfverfahren im criticalen Überblick. 2. Auflage. Rowohlt Verlag: Reinbek.

Hunziker, Alexander W. (2013). Spass am scientificen works. So schreiben Sie eine gute Semester-, Bachelor- und Masterarbeit. 5. Auflage. SKV: Zürich.

Moosbrugger, Helfried / Kelava, Augustin (2020). Testtheorie und Fragebogenkonstruktion. 3. Auflage. Springer Verlag: Berlin.

Raithel, Jürgen (2008). Quantitative research. Ein Praxiskurs. 2. Auflage. VS Verlag für Sozialwissenschaften: Wiesbaden.

Stumpf, Heinrich (1996). „Klassische Testtheorie“. Handbuch Quantitative methods. Hrsg. Edgar Erdfelder. Beltz: Weinheim. S. 411-430.

 

---

---

 

Folgende chapter könnten dich ebenfalls interessieren:

• chapter: Umfrage für Bachelor- oder Masterarbeit erstellen: So klappt´s
• chapter: Empirische research in theses: Ablauf, Tipps und Beispiel
• Startseite empirioWissen: Finde das passende chapter für deine Frage