Non-response-bias: erklärung und beispiele

Unter Non-Response-Bias versteht man die Verzerrung, die auftritt, wenn sich Personen, die auf eine Umfrage antworten, deutlich von denen unterscheiden, die nicht antworten.

Ein Non-Response-Bias kann aus mehreren Gründen auftreten:

• Die Umfrage ist schlecht konzipiert und führt zu Ausfällen. Beispielsweise können zu lange Umfragen ohne Anreize dazu führen, dass ein hoher Prozentsatz der Personen die Umfrage nicht ausfüllt.
• Manche Menschen reagieren eher auf eine bestimmte Umfrage. Beispielsweise antworten Personen, die häufig klettern, eher auf eine Umfrage zu einer potenziellen neuen Kletteranlage als Personen, die nicht klettern.
• Die Umfrage erreichte nicht alle Mitglieder einer Bevölkerung. Beispielsweise erreicht eine Umfrage, die über eine neue Telefon-App gesendet wird, möglicherweise nur junge Menschen, die über die App verfügen, was dazu führt, dass ältere Mitglieder der Bevölkerung nicht antworten.
• Die Umfrage stellt unangenehme Fragen zu privaten Informationen, die viele Menschen davon abhalten, zu antworten.

Aus all diesen Gründen kann es zu einem Non-Response-Bias kommen.

Warum ist Non-Response-Bias ein Problem?

Der Non-Response-Bias ist aus zwei Hauptgründen ein Problem:

1. Der Non-Response-Bias führt dazu, dass die Stichprobe nicht repräsentativ für die Gesamtbevölkerung ist. Der Vorteil des Sammelns von Daten für eine Stichprobe besteht darin, dass es schneller und kostengünstiger ist als das Sammeln von Daten für eine gesamte Grundgesamtheit und dass die Stichprobenergebnisse auf eine größere Grundgesamtheit extrapoliert werden können.

Um die Ergebnisse extrapolieren zu können, muss die Stichprobe jedochrepräsentativ für unsere Gesamtbevölkerung sein. Im Idealfall möchten wir, dass unsere Stichprobe eine „Mini“-Version der Grundgesamtheit ist.

Leider kann der Non-Response-Bias dazu führen, dass die Menschen in unserer Stichprobe ganz anders aussehen als die breitere Bevölkerung.

Nehmen wir zum Beispiel an, eine Stadt erwägt den Bau einer neuen Kletteranlage. Um abzuschätzen, wie groß das Interesse der Stadtbewohner an der Nutzung dieser Art von Einrichtungen wäre, verschicken die Stadtbeamten eine kurze Umfrage über eine neue Smartphone-App.

Aufgrund der Durchführung der Befragung und des Inhalts der Befragung (Fragen zum Thema Klettern) antworten vor allem junge Menschen, die sich beworben haben und sich für das Klettern interessieren.

Wenn also die Umfrageergebnisse vorliegen, zeigt sich, dass eine überwältigende Mehrheit der Stadtbevölkerung am Bau dieser neuen Anlage interessiert ist. Leider sind die Umfrageergebnisse nicht repräsentativ für die Gesamtbevölkerung.

Das folgende Bild veranschaulicht dieses Problem: Nehmen wir an, dass die grünen Kreise Personen darstellen, die an der Nutzung der Einrichtung interessiert sind, während die roten Kreise Personen darstellen, die nicht an der Nutzung der Einrichtung interessiert sind:

Beachten Sie, dass die Stichprobe nicht repräsentativ für die Gesamtbevölkerung ist. Die Umfrageergebnisse würden zeigen, dass sich die meisten Menschen über eine neue Kletteranlage freuen. Wenn die Stadtbeamten leider davon ausgehen würden, dass diese Stichprobe repräsentativ für die Bevölkerung sei, könnten sie sich leider für den Bau der Anlage entscheiden und schnell feststellen, dass viel weniger Menschen sie nutzen würden, als sie dachten.

2. Non-Response-Bias können zu größeren Abweichungen bei den Schätzungen führen . Sollte sich herausstellen, dass die Stichprobengröße der Umfrage kleiner ist als von den Forschern geplant, könnte die Varianz in den Studienschätzungen größer sein als erwartet.

Durch Hypothesentests wissen wir beispielsweise, dass die Varianz unserer Schätzung eines Bevölkerungsmittelwerts oder Bevölkerungsanteils umso geringer ist, je größer unsere Stichprobe ist. Je kleiner jedoch unsere Stichprobengröße ist, desto größer ist die Varianz unserer Bevölkerungsparameterschätzungen und desto schwieriger ist es, ein statistisch signifikantes Ergebnis zu finden.

Beispiele für Non-Response-Bias

Die folgenden Beispiele veranschaulichen mehrere Fälle, in denen ein Non-Response-Bias auftreten kann.

Beispiel 1

Forscher wollen wissen, wie Informatiker neue Software wahrnehmen. Es besteht der Druck, so viele Daten wie möglich aus der Umfrage zu gewinnen. Deshalb konzipieren Forscher eine Umfrage, die etwa eine Stunde dauert. Wenn sie die Umfrage verteilen, stellen sie fest, dass viele IT-Mitarbeiter entweder überhaupt nicht antworten oder anfangen zu antworten, aber am Ende aufgeben, bevor sie die gesamte Umfrage ausgefüllt haben.

Wenn die Forscher die Daten abrufen, stellen sie fest, dass die Befragten die Software als hervorragend und hochwertig empfinden. Als sie jedoch die neue Software im allgemeinen IT-Team einführten, stellten sie fest, dass sie überwiegend negatives Feedback erhielten.

Es stellte sich heraus, dass es sich bei den Personen, die sich die Zeit nahmen, die gesamte Umfrage auszufüllen, größtenteils um unerfahrene Informatiker handelte, die nicht in der Lage waren, die Mängel des Programms einzuschätzen.

Aus diesem Grund spiegelten die Umfrageteilnehmer nicht die breitere Population von IT-Fachkräften als Ganzes wider und die Umfrageergebnisse waren daher unzuverlässig.

Beispiel 2

Forscher möchten mehr über die Alkoholkonsumraten an einer bestimmten Hochschule erfahren. Sie beschließen, auf dem Campus einen Stand einzurichten, an dem Studierende anhalten und einen Fragebogen darüber ausfüllen können, wie viel und wie oft sie Alkohol konsumieren. Leider ist der Fragebogen nicht anonym, sodass nur Studierende, die sehr wenig oder gar nicht trinken, den Fragebogen ausfüllen.

Als die Ergebnisse vorlagen, zeigte sich, dass der Alkoholkonsum bei den Schülern gering und selten war. Leider spiegeln die Umfrageteilnehmer nicht die breitere Studentenschaft auf dem Campus wider und daher sind die Ergebnisse unzuverlässig.

Beispiel 3

Die Präsidentschaftswahlen von 1936 sind ein klassisches Beispiel für Non-Response-Bias. Eine damals populäre Publikation veröffentlichte eine Umfrage, die voraussagte, dass Alf Landon Franklin D. Roosevelt durch einen Erdrutschsieg besiegen würde. Doch als die Wahl kam, errang Franklin D. Roosevelt tatsächlich einen Erdrutschsieg.

Es stellte sich heraus, dass von den 10 Millionen verschickten Fragebögen nur 2,3 Millionen Menschen antworteten. Es stellte sich heraus, dass die 7,7 Millionen, die nicht antworteten, hinsichtlich ihrer politischen Präferenzen sehr unterschiedlich waren.

Somit spiegelten die Fragebogenergebnisse nicht die Bevölkerung als Ganzes wider, weshalb sich die Vorhersage, dass Alf Landon gewinnen würde, als so falsch herausstellte.

Wie man Non-Response-Bias verhindert

Durch die folgenden Schritte kann ein Non-Response-Bias vermieden (oder zumindest gemildert) werden:

• Gestalten Sie die Umfrage relativ kurz. Je länger eine Umfrage dauert, desto geringer ist die Wahrscheinlichkeit, dass sich die Teilnehmer die Zeit nehmen, um zu antworten.
• Bieten Sie Anreize für die Teilnahme an der Umfrage. Anreize erhöhen im Allgemeinen die Rücklaufquoten.
• Stellen Sie sicher, dass die Leute wissen, dass die Umfrageantworten vertraulich oder anonym sind. Dies erhöht im Allgemeinen die Bereitschaft der Menschen, zu antworten.
• Verteilen Sie die Umfrage so, dass sie einen großen Prozentsatz der Bevölkerung erreicht, indem Sie beispielsweise herkömmliche Verbreitungsformen verwenden und nicht eine neue App, die nur wenige Menschen haben.

Obwohl es nicht immer möglich ist, die Auswirkungen des Non-Response-Bias vollständig zu beseitigen, ist es möglich, diese Effekte durch den Einsatz eines intelligenten Umfragedesigns und einer intelligenten Verteilungsmethode zu minimieren.

Zusätzliche Ressourcen

Was ist ein Selbstselektionsbias?
Was ist ein Undercount-Bias?
Was ist SEO-Bias?