무응답 편향: 설명 및 예

무응답 편향은 설문조사에 응답하는 사람들이 응답하지 않는 사람들과 크게 다를 때 발생하는 편향입니다.

무응답 편향은 여러 가지 이유로 발생할 수 있습니다.

• 설문조사가 잘못 설계되어 무응답으로 이어졌습니다. 예를 들어, 인센티브 없이 너무 긴 설문조사를 진행하면 높은 비율의 사람들이 설문조사를 완료하지 못할 수 있습니다.
• 어떤 사람들은 특정 설문조사에 응답할 가능성이 더 높습니다. 예를 들어, 자주 등반하는 사람들은 등반하지 않는 사람들보다 잠재적인 새로운 등반 시설에 관한 설문조사에 응답할 가능성이 더 높습니다.
• 설문조사는 모집단의 모든 구성원에게 전달되지 않았습니다. 예를 들어, 새로운 전화 앱으로 전송된 설문조사는 해당 앱을 가지고 있는 젊은 사람들에게만 전달될 수 있으며, 이로 인해 노인층에서는 응답하지 않을 수도 있습니다.
• 이 설문조사에서는 많은 사람들이 응답을 방해하는 개인 정보에 대한 어색한 질문을 던집니다.

무응답 편향은 이러한 모든 이유로 발생할 수 있습니다.

무응답 편향이 왜 문제가 됩니까?

무응답 편향은 다음 두 가지 주요 이유로 문제가 됩니다.

1. 무응답 편향으로 인해 표본이 모집단 전체를 대표하지 못합니다. 표본에 대한 데이터 수집의 이점은 전체 모집단에 대한 데이터를 수집하는 것보다 빠르고 저렴하며 표본 결과를 더 큰 모집단으로 추정할 수 있다는 것입니다.

그러나 결과를 추정하려면 표본이 모집단 전체를 대표 해야 합니다. 이상적으로는 표본이 모집단의 “미니” 버전이 되기를 바랍니다.

안타깝게도 무응답 편향으로 인해 표본에 포함된 사람들이 더 넓은 범위의 사람들과 매우 다르게 보일 수 있습니다.

예를 들어, 한 도시에서 새로운 암벽 등반 시설 건설을 고려하고 있다고 가정해 보겠습니다. 이러한 유형의 시설 이용에 시 주민들이 얼마나 관심을 갖고 있는지 측정하기 위해 시 공무원은 새로운 스마트폰 앱을 통해 간단한 설문조사를 보내고 있습니다.

설문조사 방식과 설문 내용(등산에 관한 질문)으로 인해 주로 신청자 및 등반에 관심이 있는 젊은층이 응답하고 있습니다.

따라서 조사 결과가 나오면 도시 인구의 압도적인 대다수가 이 새로운 시설을 건설하는 데 관심이 있는 것으로 보입니다. 안타깝게도 설문조사 결과는 전체 인구를 대표하지 않습니다.

아래 그림은 이 문제를 보여줍니다. 녹색 원은 시설 사용에 관심이 있는 사람들을 나타내고 빨간색 원은 시설 사용에 관심이 없는 사람들을 나타낸다고 가정해 보겠습니다.

표본이 모집단 전체를 대표하지 않는다는 점에 유의하세요. 설문조사 결과는 대부분의 사람들이 새로운 등반 시설에 대해 흥미를 갖고 있음을 보여줍니다. 불행하게도 시 공무원이 이 표본이 인구를 대표한다고 가정하면 시설을 건설하기로 결정하고 생각보다 훨씬 적은 수의 사람들이 시설을 사용할 것이라는 사실을 금방 깨닫게 될 것입니다.

2. 무응답 편향으로 인해 추정치에 더 큰 변동이 발생할 수 있습니다 . 조사 표본 크기가 연구자가 사용하려고 계획한 것보다 작은 것으로 밝혀지면 연구 추정치의 변동이 예상보다 커질 수 있습니다.

예를 들어, 가설 검정을 통해 표본 크기가 클수록 모집단 평균 또는 모집단 비율 추정치의 분산이 낮아진다는 것을 알 수 있습니다. 그러나 표본 크기가 작을수록 모집단 모수 추정치의 분산이 커지고 통계적으로 유의미한 결과를 찾는 것이 더 어려워집니다.

무응답 편향의 예

다음 예에서는 무응답 편향이 발생할 수 있는 몇 가지 사례를 보여줍니다.

실시예 1

연구자들은 컴퓨터 과학자들이 새로운 소프트웨어를 어떻게 인식하는지 알고 싶어합니다. 설문조사를 통해 최대한 많은 데이터를 얻어야 한다는 압박감이 있기 때문에 연구자들은 약 1시간 정도 소요되는 설문조사를 설계합니다. 설문조사를 배포할 때 많은 IT 직원이 전혀 응답하지 않거나 응답하기 시작했지만 결국 전체 설문조사를 완료하기 전에 포기하는 것으로 나타났습니다.

연구자들이 데이터를 검색하면 응답자들이 소프트웨어가 우수하고 품질이 우수하다고 인식한다는 사실을 발견했습니다. 그러나 일반 IT 팀에 새 소프트웨어를 출시한 후에는 대부분 부정적인 피드백을 받았다는 사실을 알게 되었습니다.

시간을 내어 전체 설문 조사를 완료한 사람들은 대부분 프로그램의 결함을 평가할 능력이 없는 초보 컴퓨터 과학자인 것으로 밝혀졌습니다.

이러한 이유로 설문조사 응답자들은 IT 전문가 전체를 반영하지 않았으며 따라서 설문조사 결과를 신뢰할 수 없었습니다.

실시예 2

연구자들은 특정 대학의 알코올 소비율에 대해 더 알고 싶어합니다. 그들은 학생들이 잠시 멈춰서 술을 얼마나 자주 마시는지에 대한 설문조사를 받을 수 있는 부스를 캠퍼스에 설치하기로 결정했습니다. 안타깝게도 설문지는 익명으로 처리되지 않으므로 술을 거의 마시지 않거나 전혀 마시지 않는 학생들만 설문지를 작성하도록 선택합니다.

결과가 나왔을 때, 학생들 사이에서 음주량이 낮고 빈도가 낮은 것으로 나타났습니다. 불행하게도 설문 조사 응답자들은 캠퍼스 내 더 넓은 학생 인구를 반영하지 않으므로 결과를 신뢰할 수 없습니다.

실시예 3

1936년 대통령 선거는 무응답 편향의 전형적인 예이다. 당시 인기 있는 출판물에서는 Alf Landon이 Franklin D. Roosevelt를 압도적인 승리로 이길 것이라고 예측하는 여론 조사를 발표했습니다. 그러나 선거가 열렸을 때 프랭클린 D. 루즈벨트(Franklin D. Roosevelt)가 실제로 압도적인 승리를 거두었습니다.

발송된 1,000만 개의 설문지 중 응답한 사람은 230만 명에 불과한 것으로 나타났습니다. 응답하지 않은 770만 명은 정책 선호 측면에서 매우 다른 것으로 나타났습니다.

따라서 설문조사 결과는 인구 전체를 반영하지 못했고, 이로 인해 Alf Landon이 승리할 것이라는 예측은 너무나 잘못된 것으로 판명되었습니다.

무응답 편향을 방지하는 방법

무응답 편향은 다음 단계를 수행하여 방지하거나 최소한 완화할 수 있습니다.

• 설문조사를 상대적으로 짧게 디자인하세요. 설문조사가 길어질수록 사람들이 응답하는 데 시간을 할애할 가능성이 줄어듭니다.
• 설문조사 완료에 대한 인센티브를 제공합니다. 인센티브는 일반적으로 응답률을 높입니다.
• 설문조사 응답은 기밀이거나 익명으로 처리된다는 점을 사람들에게 알리세요. 이는 일반적으로 사람들이 더 기꺼이 반응하게 만듭니다.
• 예를 들어 소수의 사람들이 가지고 있는 새로운 앱 대신 전통적인 배포 형태를 사용하여 인구의 많은 비율에 도달하도록 설문조사를 배포합니다.

무응답 편향의 영향을 항상 완전히 제거할 수는 없지만 지능적인 설문 조사 설계 및 배포 방법을 사용하면 이러한 영향을 최소화하는 것이 가능합니다.

추가 리소스

자기 선택 편향이란 무엇입니까?
과소계산 편향이란 무엇입니까?
SEO 편향이란 무엇입니까?