Non-respons bias: uitleg en voorbeelden

Non-respons bias is de bias die optreedt wanneer mensen die op een enquête reageren aanzienlijk verschillen van degenen die niet reageren.

Non-respons bias kan om verschillende redenen voorkomen:

• De enquête is slecht opgezet en leidt tot non-respons. Enquêtes die te lang duren zonder prikkels kunnen er bijvoorbeeld voor zorgen dat een hoog percentage mensen de enquête niet invult.
• Sommige mensen reageren eerder op een bepaalde enquête. Mensen die vaak klimmen, reageren bijvoorbeeld eerder op een enquête over een mogelijke nieuwe klimfaciliteit dan mensen die niet klimmen.
• Het onderzoek heeft niet alle leden van een bevolking bereikt. Een enquête die via een nieuwe telefoonapp wordt verzonden, bereikt bijvoorbeeld mogelijk alleen jonge mensen die de app hebben, wat leidt tot non-respons van oudere leden van de bevolking.
• In de enquête worden lastige vragen gesteld over privégegevens, die veel mensen ervan weerhouden te reageren.

Om al deze redenen kan er sprake zijn van non-respons bias.

Waarom is non-respons bias een probleem?

Non-respons bias is om twee belangrijke redenen een probleem:

1. Non-respons bias zorgt ervoor dat de steekproef niet representatief is voor de populatie als geheel. Het voordeel van het verzamelen van gegevens voor een steekproef is dat het sneller en goedkoper is dan het verzamelen van gegevens voor een hele populatie, en dat de steekproefresultaten kunnen worden geëxtrapoleerd naar een grotere populatie.

Om de resultaten te kunnen extrapoleren, moet de steekproef echter representatief zijn voor onze populatie als geheel. Idealiter zouden we willen dat onze steekproef een ‘miniversie’ van de populatie is.

Helaas kan non-respons bias ertoe leiden dat mensen in onze steekproef er heel anders uitzien dan die in de bredere populatie.

Laten we bijvoorbeeld zeggen dat een stad overweegt een nieuwe rotsklimfaciliteit te bouwen. Om te peilen in welke mate stadsbewoners geïnteresseerd zouden zijn in het gebruik van dit soort voorzieningen, sturen stadsambtenaren een korte enquête uit via een nieuwe smartphone-app.

Vanwege de werkwijze waarmee het onderzoek is uitgevoerd en de inhoud van het onderzoek (vragen over klimmen) zijn het vooral jongeren die de aanvraag hebben en geïnteresseerd zijn in klimmen die reageren.

Dus als de onderzoeksresultaten terugkomen, lijkt het erop dat een overweldigende meerderheid van de stadsbevolking geïnteresseerd is in de bouw van deze nieuwe faciliteit. Helaas zijn de onderzoeksresultaten niet representatief voor de bevolking als geheel.

De onderstaande afbeelding illustreert dit probleem: Laten we aannemen dat de groene cirkels mensen vertegenwoordigen die geïnteresseerd zijn in het gebruik van de faciliteit, terwijl de rode cirkels mensen vertegenwoordigen die niet geïnteresseerd zijn in het gebruik van de faciliteit:

Merk op dat de steekproef niet representatief is voor de populatie als geheel. Uit de onderzoeksresultaten blijkt dat de meeste mensen enthousiast zijn over een nieuwe klimfaciliteit. Als stadsambtenaren ervan uitgingen dat deze steekproef representatief was voor de bevolking, zouden ze helaas kunnen besluiten om de faciliteit te bouwen en zich snel realiseren dat veel minder mensen er gebruik van zouden maken dan ze dachten.

2. Non-respons bias kan een grotere variantie in schattingen veroorzaken . Als de steekproefomvang van het onderzoek kleiner blijkt te zijn dan de onderzoekers hadden gepland, zou de variantie in de onderzoeksschattingen groter kunnen zijn dan verwacht.

Door het testen van hypothesen weten we bijvoorbeeld dat hoe groter onze steekproefomvang is, hoe lager de variantie in onze schatting van een populatiegemiddelde of populatieaandeel. Hoe kleiner onze steekproefomvang, hoe groter de variantie van onze schattingen van populatieparameters en hoe moeilijker het is om een statistisch significant resultaat te vinden.

Voorbeelden van non-respons bias

De volgende voorbeelden illustreren verschillende gevallen waarin non-responsbias kan optreden.

voorbeeld 1

Onderzoekers willen weten hoe computerwetenschappers nieuwe software waarnemen. Er is druk om zoveel mogelijk gegevens uit de enquête te halen, dus ontwerpen onderzoekers een enquête die ongeveer een uur duurt. Wanneer ze de enquête verspreiden, merken ze dat veel IT-medewerkers helemaal niet reageren of beginnen te reageren, maar het uiteindelijk opgeven voordat ze de hele enquête hebben ingevuld.

Wanneer de onderzoekers de gegevens ophalen, merken ze dat de respondenten de software als uitstekend en van hoge kwaliteit ervaren. Toen ze de nieuwe software echter bij het algemene IT-team hadden uitgerold, ontdekten ze dat ze vooral negatieve feedback kregen.

Het blijkt dat de mensen die de tijd hebben genomen om de hele enquête in te vullen veelal beginnende computerwetenschappers zijn die niet in staat zijn de tekortkomingen van het programma in te schatten.

Om deze reden weerspiegelden de respondenten van de enquête niet de bredere populatie van IT-professionals als geheel en waren de resultaten van de enquête daarom onbetrouwbaar.

Voorbeeld 2

Onderzoekers willen meer weten over de alcoholconsumptie op een bepaalde universiteit. Ze besluiten een stand op te zetten op de campus waar studenten kunnen stoppen en een vragenlijst kunnen invullen over hoeveel en hoe vaak ze alcohol consumeren. Helaas is de vragenlijst niet anoniem, dus alleen studenten die weinig of helemaal niet drinken kiezen ervoor om de vragenlijst in te vullen.

Toen de resultaten terugkwamen, bleek dat de alcoholconsumptie onder studenten laag en zeldzaam was. Helaas weerspiegelen de respondenten van de enquête niet de bredere studentenpopulatie op de campus en daarom zijn de resultaten onbetrouwbaar.

Voorbeeld 3

De presidentsverkiezingen van 1936 zijn een klassiek voorbeeld van non-responsbias. Een populaire publicatie uit die tijd publiceerde een opiniepeiling die voorspelde dat Alf Landon Franklin D. Roosevelt door een aardverschuiving zou verslaan. Toen de verkiezingen echter kwamen, behaalde Franklin D. Roosevelt feitelijk een verpletterende overwinning.

Het blijkt dat van de 10 miljoen verzonden vragenlijsten slechts 2,3 miljoen mensen hebben gereageerd. De 7,7 miljoen die niet reageerden bleken qua beleidsvoorkeuren heel verschillend te zijn.

De resultaten van de vragenlijst weerspiegelden dus niet de bevolking als geheel, en daarom bleek de voorspelling dat Alf Landon zou winnen zo onjuist.

Hoe non-respons bias te voorkomen

Non-respons bias kan worden vermeden (of op zijn minst verzacht) door de volgende stappen te nemen:

• Zorg ervoor dat de enquête relatief kort is. Hoe langer een enquête duurt, hoe kleiner de kans dat mensen de tijd nemen om te reageren.
• Bied incentives aan voor het invullen van de enquête. Stimulansen verhogen over het algemeen de responspercentages.
• Zorg ervoor dat mensen weten dat de antwoorden op de enquête vertrouwelijk of anoniem zullen zijn. Dit zorgt er over het algemeen voor dat mensen meer bereid zijn om te reageren.
• Verspreid de enquête zodat deze een groot percentage van de bevolking bereikt, bijvoorbeeld door gebruik te maken van traditionele distributievormen in plaats van een nieuwe app die maar weinig mensen hebben.

Hoewel het niet altijd mogelijk is om de effecten van non-respons bias volledig te elimineren, is het wel mogelijk deze effecten te minimaliseren door gebruik te maken van een intelligent onderzoeksontwerp en een intelligente distributiemethode.

Aanvullende bronnen

Wat is zelfselectiebias?
Wat is ondertellingsbias?
Wat is SEO-bias?