Ошибка отсутствия ответов: объяснение и примеры

Предвзятость отсутствия ответов — это предвзятость, которая возникает, когда люди, отвечающие на опрос, значительно отличаются от тех, кто не отвечает.

Систематическая ошибка в связи с отсутствием ответов может возникнуть по нескольким причинам:

• Опрос плохо разработан и приводит к отсутствию ответов. Например, слишком длинные опросы без стимулов могут привести к тому, что большой процент людей не заполнит опрос.
• Некоторые люди с большей вероятностью ответят на конкретный опрос. Например, люди, которые часто занимаются скалолазанием, с большей вероятностью ответят на опрос о потенциальном новом объекте для скалолазания, чем люди, которые не занимаются скалолазанием.
• Опрос не охватил всех членов населения. Например, опрос, отправленный с помощью нового приложения для телефона, может охватить только молодых людей, у которых есть это приложение, что приводит к отсутствию ответов со стороны пожилых людей.
• В опросе задаются неудобные вопросы о частной информации, которые удерживают многих людей от ответа.

Систематическая ошибка в связи с отсутствием ответов может возникнуть по всем этим причинам.

Почему систематическая ошибка в связи с отсутствием ответов является проблемой?

Систематическая ошибка в связи с отсутствием ответов является проблемой по двум основным причинам:

1. Ошибка отсутствия ответов приводит к тому, что выборка не является репрезентативной для населения в целом. Преимущество сбора данных для выборки заключается в том, что это происходит быстрее и дешевле, чем сбор данных для всей совокупности, и позволяет экстраполировать результаты выборки на более крупную совокупность.

Однако для экстраполяции результатов выборка должна быть репрезентативной для нашей популяции в целом. В идеале мы хотели бы, чтобы наша выборка представляла собой «мини-версию» генеральной совокупности.

К сожалению, систематическая ошибка отсутствия ответов может привести к тому, что люди в нашей выборке будут сильно отличаться от представителей более широкой популяции.

Например, предположим, что город рассматривает возможность строительства нового комплекса для скалолазания. Чтобы оценить, насколько жители города будут заинтересованы в использовании подобных объектов, городские власти рассылают небольшой опрос через новое приложение для смартфонов.

Из-за метода, использованного для проведения опроса, и содержания опроса (вопросы о скалолазании), откликаются в основном молодые люди, которые имеют заявку и интересуются скалолазанием.

Итак, когда результаты опроса вернулись, оказалось, что подавляющее большинство населения города заинтересовано в строительстве этого нового объекта. К сожалению, результаты опроса не отражают население в целом.

На рисунке ниже показана эта проблема: предположим, что зеленые круги представляют людей, заинтересованных в использовании объекта, а красные круги представляют людей, которые не заинтересованы в использовании объекта:

Обратите внимание, что выборка не является репрезентативной для населения в целом. Результаты опроса показывают, что большинство людей в восторге от нового объекта для скалолазания. К сожалению, если бы городские власти предположили, что эта выборка репрезентативна для населения, они могли бы решить построить объект и быстро понять, что им будет пользоваться гораздо меньше людей, чем они думали.

2. Ошибка в связи с отсутствием ответов может привести к увеличению расхождений в оценках . Если размер выборки опроса окажется меньше, чем планировали использовать исследователи, отклонение в оценках исследования может оказаться больше, чем ожидалось.

Например, посредством проверки гипотез мы знаем, что чем больше размер нашей выборки, тем ниже дисперсия в нашей оценке среднего значения или доли населения. Однако чем меньше размер нашей выборки, тем больше дисперсия наших оценок параметров совокупности и тем труднее найти статистически значимый результат.

Примеры систематической ошибки в связи с отсутствием ответов

Следующие примеры иллюстрируют несколько случаев, когда может возникнуть систематическая ошибка из-за отсутствия ответов.

Пример 1

Исследователи хотят знать, как ученые-компьютерщики воспринимают новое программное обеспечение. Необходимо получить как можно больше данных из опроса, поэтому исследователи разрабатывают опрос, который занимает около часа. Распространяя опрос, они обнаруживают, что многие ИТ-специалисты либо не отвечают вообще, либо начинают отвечать, но в конечном итоге сдаются, не успев заполнить опрос целиком.

Когда исследователи извлекают данные, они обнаруживают, что респонденты считают программное обеспечение отличным и качественным. Однако, как только они представили новое программное обеспечение общей ИТ-команде, они обнаружили, что получили в основном негативные отзывы.

Оказывается, люди, которые потратили время на прохождение всего опроса, оказались в основном начинающими компьютерщиками, неспособными оценить недостатки программы.

По этой причине респонденты опроса не отражали более широкую совокупность ИТ-специалистов в целом, и поэтому результаты опроса были ненадежными.

Пример 2

Исследователи хотят узнать больше об уровне потребления алкоголя в определенном колледже. Они решают установить на территории кампуса стенд, где студенты смогут остановиться и заполнить анкету о том, сколько и как часто они употребляют алкоголь. К сожалению, анкета не является анонимной, поэтому ее решают заполнить только студенты, которые пьют очень мало или вообще не пьют.

Когда результаты были получены, выяснилось, что употребление алкоголя среди студентов было низким и нечастым. К сожалению, респонденты опроса не отражают более широкую студенческую контингент кампуса, и поэтому результаты ненадежны.

Пример 3

Президентские выборы 1936 года являются классическим примером предвзятости, связанной с отсутствием ответа. Популярное издание того времени опубликовало опрос, в котором предсказывалось, что Альф Лэндон победит Франклина Д. Рузвельта с большим перевесом. Однако, когда пришли выборы, Франклин Д. Рузвельт фактически одержал убедительную победу.

Получается, что из 10 миллионов отправленных анкет ответили только 2,3 миллиона человек. Те 7,7 миллиона человек, которые не ответили, оказались очень разными с точки зрения политических предпочтений.

Таким образом, результаты анкетирования не отражали население в целом, поэтому прогноз о победе Альфа Лэндона оказался настолько неверным.

Как предотвратить предвзятость в связи с отсутствием ответов

Предвзятость в связи с отсутствием ответов можно избежать (или, по крайней мере, смягчить), предприняв следующие шаги:

• Сделайте опрос относительно коротким. Чем длиннее опрос, тем меньше вероятность того, что люди потратят время на то, чтобы ответить.
• Предлагайте поощрения за прохождение опроса. Стимулы обычно увеличивают процент откликов.
• Убедитесь, что люди знают, что ответы на опрос будут конфиденциальными или анонимными. Обычно это заставляет людей более охотно отвечать.
• Распространите опрос так, чтобы он охватил большой процент населения, например, используя традиционные формы распространения, а не новое приложение, которым обладают немногие.

Хотя не всегда возможно полностью устранить последствия систематической ошибки отсутствия ответов, эти эффекты можно свести к минимуму, используя интеллектуальную структуру опроса и метод распределения.

Дополнительные ресурсы

Что такое предвзятость самоотбора?
Что такое смещение занижения?
Что такое SEO-предвзятость?