When is my online survey representative?

Machen wir einen kleinen Test: Wenn du in deinem Newsfeed folgende zwei Schlagzeilen liest, welche davon stufst du auf Anhieb als seriös ein?

• Repräsentative Studie zeigt: Weihnachten 2022 wird das Fest des Sparens (Marketing Börse, 18.10.2022)
• Schock-Umfrage zum teuren Fest: 20 Millionen Deutsche wollen sich für Weihnachten verschulden (BILD, 25.11.2022)

 

Lass uns raten: Bestimmt hast du die erste Antwortmöglichkeit gewählt, richtig? Nun, damit bist du sicherlich nicht alleine! Schließlich signalisieren Studien, die in den Medien mit dem Qualitätssiegel “repräsentativ” versehen sind, dass sie besonders vertrauenswürdig sind.

Doch warum eigentlich? Muss eine Umfrage zwangsläufig repräsentativ sein, um aussagekräftig zu sein? In diesem Überblick verraten wir dir, ab wann eine Studie als repräsentativ gilt und inwieweit dieser Begriff für deine eigene Forschung überhaupt relevant ist.

 

In diesem Artikel verraten wir dir, ab wann eine Umfrage als repräsentativ gilt und inwieweit dieser Begriff für deine eigene Forschung überhaupt relevant ist.

Repräsentativität in der Forschung: Was ist das überhaupt?

Eins müssen wir vorweg nehmen: Eine allgemeingültige Definition für Repräsentativität gibt es in der Wissenschaft nicht. Vielmehr wird unter einer repräsentativen Studie ein empirisches Forschungsvorhaben verstanden, bei dem zuverlässige und möglichst präzise Aussagen über eine große Population, wie etwa die gesamte deutsche Bevölkerung (= Grundgesamtheit), anhand einer kleinen Gruppe der Befragten (= Stichprobe) getroffen werden.

Beispiel:

Wenn Forschende wissen wollen, ob der Großteil der deutschen Bevölkerung die Einführung des Tempolimits auf der Autobahn eher gut oder eher schlecht findet, können sie ja unmöglich alle Bürger dazu befragen. Deswegen wird eine Gruppe für die quantitative Befragung ausgewählt, die stellvertretend für die gesamte Bevölkerung steht (= Bildung einer Stichprobe).

 

Was zunächst einfach klingt, ist im Detail recht komplex: Damit das Ergebnis aussagekräftig ist, müssen die tatsächlich Befragten die gesamte Population so genau wie möglich (= strukturgleich) abbilden. Werden bei der Tempolimit-Studie nur Männer berücksichtigt, ist das Ergebnis nicht repräsentativ – und zwar unabhängig davon, wie viele Männer befragt wurden.

Entgegen der typischen Fehleinschätzung sorgt dabei allein die besonders große Stichprobe (= sehr viele Befragte) nicht automatisch für eine repräsentative Umfrage. In diesem Zusammenhang spielen beim Auswahlverfahren auch weitere Faktoren, wie beispielsweise Uhrzeit und Ort der Befragung, ebenfalls eine wichtige Rolle.

Beispiel:

Wenn du wissen willst, wie viele Bürger in deiner Heimatstadt an Gott glauben, aber deine Umfrage nach der Sonntagsmesse vor der Kirche durchführst, wirst du verzerrte Ergebnisse bekommen.

 

Generell gibt es in der Statistik eine mathematische Formel, um eine passende Stichprobengröße für ein repräsentatives Forschungsprojekt zu bestimmen. Damit können Forschenden gleichzeitig auch die maximal zugelassene Fehlerquote bzw. Irrtumswahrscheinlichkeit (= liegt typischerweise zwischen 0,05 oder 5 Prozent) für ein womöglich falsches Forschungsergebnis festlegen.

Vereinfacht erklärt, wird dabei die Genauigkeit der gewählten Stichprobengröße berechnet. Abhängig von ihrer Zielsetzung können Forschende entscheiden, wie genau ihre Testergebnisse sein müssen bzw. mit welcher Wahrscheinlichkeit die Ergebnisse falsch sind: Je mehr Menschen sie befragen, desto genauer ist die Studie.

Beispiel:

Nehmen wir an, wir machen eine Umfrage im Bereich der Fernsehforschung, wobei zu unserer Grundgesamtheit alle Bürger zählen, die einen Fernseher besitzen (= 64.000.000 Personen).

 

Wenn wir die Irrtumswahrscheinlichkeit oder Fehlerquote von 5 Prozent in Kauf nehmen, würde unsere Stichprobe bei 385 Personen liegen, wenn wir zu 95 Prozent sicher sein wollen, dass die Studie überhaupt auf die Grundgesamtheit übertragbar ist. Bei einer kleineren Irrtumswahrscheinlichkeit von 1% müssten wir dagegen ganze 9.603 Personen befragen, was in der Praxis deutlich schwieriger umzusetzen ist. Diese 5-prozentige Irrtumswahrscheinlichkeit bedeutet konkret, dass selbst wenn wir alle Personen aus der Grundgesamtheit befragt hätten, würden ihre Antworten maximal um +/-5 Prozent von denen aus unserer Umfrage abweichen, was für viele Studien durchaus ausreicht.

Grundsätzlich gilt: Je kleiner bzw. konkreter die gewählte Grundgesamtheit, desto einfacher ist es, eine präzise Stichprobe zu bilden. In der Praxis solltest du also bei der Projektplanung dich lieber auf die Tempolimit-Vorlieben deiner Kommilitonen beschränken (Grundgesamtheit = Anzahl der Studierenden deines Fachbereichs) als die der gesamten deutschen Bevölkerung untersuchen zu wollen.

Zufällige Stichprobenauswahl: Voraussetzung für Repräsentativität

Damit eine Umfrage als repräsentativ gilt, ist neben der entsprechenden Größe auch eine zufällige Stichprobenauswahl notwendig. Das bedeutet, dass alle Angehörigen der Grundgesamtheit (Männer, Frauen, verschiedene Alters- und Berufsgruppen etc.) im Idealfall die gleiche Chance erhalten, bei der Stichprobe dabei zu sein.

Beispiel:

In 2018 hat die Europäische Union eine Online-Befragung zur Zeitumstellung durchgeführt. An der Umfrage nahmen 4,6 Millionen Personen teil und dabei stimmten mehr als 80 Prozent für eine Abschaffung der Zeitumstellung bzw. für die dauerhafte Sommerzeit. Das Problem bei dieser Umfrage war aber, dass ca. 3 Millionen bzw. drei Viertel der Befragten aus Deutschland stammten. Das Ergebnis war deswegen nicht auf die Meinung von allen EU-Bürgern übertragbar und war trotz der großen Stichprobe nicht repräsentativ.

 

Das Forschungsdesign dieser Umfrage hatte einige methodische Schwächen: So gab es in Deutschland in den Medien mehr Aufrufe zur Teilnahme als etwa in Italien oder Bulgarien. Zudem war die mehrfache Teilnahme an der Umfrage möglich, weswegen die Deutschen bei den Ergebnissen deutlich überrepräsentiert waren.

Unser Literaturtipp: Siehe dazu auch den Artikel des Wirtschaftswissenschaftlers Horst Müller-Peters für das Portal marktforschung.de an: “Von verdrehten Uhrzeiten und falsch verstandener Demoskopie.” (Letzter Aufruf: 24.01.2023).

 

Verschiedene statistische Zufallsprozesse sind für die Bildung einer zuverlässigen Stichprobe (z.B. einer einfachen oder geschichteten Zufallsstichprobe) am besten geeignet. 

 

➔ Literaturtipp zum Nachschlagen, wie ein gutes Auswahlverfahren einer zufälligen Stichprobe aussehen kann: Brosius, Hans-Bernd et al. (2009). Methoden der empirischen Kommunikationsforschung. Eine Einführung. 5. Auflage. Wiesbaden: VS Verlag für Sozialwissenschaften, vor allem Kap. 4. “Auswahlverfahren”, S.71-91.

Repräsentativität = Zuverlässigkeit: Muss deine Studie unbedingt repräsentativ sein?

Damit eine Studie repräsentativ ist, spielt neben dem passenden Auswahlverfahren sowie der ausreichenden Größe der Stichprobe das gesamte Forschungskonzept eine wichtige Rolle. Die Bildung einer repräsentativen Stichprobe ist dabei die größte Herausforderung, die selbst in großangelegten Studien – wie die Zeitumstellung-Umfrage der EU zeigt – nicht immer gelingt.

In einigen Fällen ist es schlicht zu aufwändig oder gar nicht möglich, eine repräsentative Studie durchzuführen, dennoch macht es die Ergebnisse keinesfalls wertlos.

Beispiel:

Bei der Schlafforschung müssen Forschende erst Versuchspersonen finden, die bereit sind, mehrere Nächte in einem Schlaflabor zu verbringen, was die Bildung der repräsentativen Stichprobe deutlich schwieriger und sogar beinahe unmöglich macht. Daher sind solche Studien nur selten repräsentativ, dennoch sind sie für die medizinische Praxis extrem wertvoll.

Unser Literaturtipp & Beispiel aus dem NDR-Wissensmagazin “Quarks”: Gerhard, Saskia (2020). “So durchschaust du jede Statistik”. (Zugriff: 25.01.2023)

 

Alleine das Definieren der Grundgesamtheit kann dabei problematisch sein, weil sogar Bevölkerungszählungen nicht immer aktuell oder korrekt sind. Eine idealtypische Zufallsstichprobe ist in der Praxis daher selten realisierbar. Führst du eine Online-Umfrage oder eine telefonische Befragung durch, lässt du automatisch eine Bevölkerungsgruppe aus, weil nicht jeder über einen Internet- oder Festnetzanschluss verfügt.