無回答バイアス: 説明と例

無回答バイアスは、調査に回答した人々と回答しなかった人々が大きく異なる場合に発生するバイアスです。

無回答バイアスは、次のような理由で発生する可能性があります。

• 調査の設計が不十分であり、無回答につながっています。たとえば、インセンティブのない調査が長すぎると、高い割合の人が調査に回答しない可能性があります。
• 特定のアンケートに回答する可能性が高い人もいます。たとえば、頻繁に登山をする人は、登山をしない人よりも、新しい登山施設の候補に関するアンケートに回答する可能性が高くなります。
• この調査は、人口のすべてのメンバーに到達したわけではありません。たとえば、新しい電話アプリで送信されたアンケートは、そのアプリを持っている若者のみに届く可能性があり、高齢者からは回答が得られない可能性があります。
• この調査では個人情報に関する厄介な質問をしているため、多くの人が回答をためらっています。

無回答バイアスは、これらすべての理由で発生する可能性があります。

無回答バイアスがなぜ問題になるのでしょうか?

無回答バイアスは主に次の 2 つの理由で問題になります。

1. 無回答バイアスにより、サンプルは母集団全体を代表しなくなります。サンプルのデータを収集する利点は、母集団全体のデータを収集するよりも高速かつ低コストであり、サンプルの結果をより大きな母集団に推定できることです。

ただし、結果を推定するには、サンプルが母集団全体を代表している必要があります。理想的には、サンプルは母集団の「ミニ」バージョンであることが望ましいと考えられます。

残念ながら、無回答バイアスにより、サンプルに含まれる人々の見た目が、より広範な母集団の人々とは大きく異なる可能性があります。

たとえば、ある都市が新しいロック クライミング施設の建設を検討しているとします。市の住民がこの種の施設の利用にどの程度関心があるかを測るために、市当局は新しいスマートフォン アプリを介して簡単なアンケートを送信しています。

調査の実施方法や調査内容（登山に関する質問）の関係上、回答いただくのは申込書を持っている登山に興味のある若年層が中心となります。

したがって、調査結果が戻ってくると、市の人口の圧倒的多数がこの新しい施設の建設に興味を持っているようです。残念ながら、調査結果は人口全体を代表するものではありません。

以下の図は、この問題を示しています。緑の円は施設の使用に興味がある人を表し、赤の円は施設の使用に興味がない人を表すと仮定します。

サンプルが母集団全体を代表していないことに注目してください。調査結果は、ほとんどの人が新しい登山施設に興奮していることを示しています。残念ながら、市当局がこのサンプルが人口を代表するものであると仮定した場合、施設の建設を決定し、その施設を利用する人が思ったよりもはるかに少ないことにすぐに気づくかもしれません。

2. 無回答バイアスにより、推定値のばらつきが大きくなる可能性があります。調査のサンプルサイズが研究者が使用することを計画していたよりも小さいことが判明した場合、調査の推定値の差異が予想よりも大きくなる可能性があります。

たとえば、仮説検定を通じて、サンプルサイズが大きいほど、母平均または母比率の推定値の分散が小さくなることがわかります。ただし、サンプルサイズが小さいほど、母集団パラメータの推定値の分散が大きくなり、統計的に有意な結果を見つけることが難しくなります。

無回答バイアスの例

次の例は、無応答バイアスが発生する可能性のあるいくつかのケースを示しています。

例1

研究者は、コンピューター科学者が新しいソフトウェアをどのように認識しているかを知りたいと考えています。調査からできるだけ多くのデータを取得する必要があるため、研究者は約 1 時間かかる調査を設計します。アンケートを配布すると、多くの IT ワーカーがまったく回答しないか、回答し始めてもアンケート全体を完了する前に諦めてしまうことがわかりました。

研究者がデータを取得すると、回答者はソフトウェアが優れており高品質であると認識していることがわかりました。しかし、新しいソフトウェアを一般の IT チームに展開すると、ほとんどが否定的なフィードバックを受け取ったことがわかりました。

時間をかけて調査全体を完了した人々のほとんどは、プログラムの欠陥を評価する能力のない初心者のコンピューター科学者であることが判明しました。

このため、調査回答者は広範な IT プロフェッショナル全体を反映していないため、調査結果は信頼性が低くなります。

例 2

研究者は、特定の大学のアルコール摂取率について詳しく知りたいと考えています。彼らは、学生が立ち止まってアルコール摂取量と頻度についてアンケートを取ることができるブースをキャンパスに設置することにしました。残念ながら、アンケートは匿名ではないため、お酒をほとんど飲まない、またはまったく飲まない学生のみがアンケートに回答することを選択しました。

結果が返ってきたとき、学生のアルコール摂取量は低く、頻度も低いことが判明しました。残念ながら、調査の回答者はキャンパス内の広範な学生集団を反映していないため、結果は信頼できません。

例 3

1936 年の大統領選挙は無回答バイアスの典型的な例です。当時の人気のある出版物は、アルフ・ランドンがフランクリン・D・ルーズベルトを地滑り的に破ると予測する世論調査を掲載した。しかし、選挙が始まると、実際にはフランクリン・D・ルーズベルトが地滑り的な勝利を収めました。

1,000万通のアンケートが送信されたが、回答したのはわずか230万人だったことが判明した。回答しなかった770万人は、政策の好みという点で大きく異なることが判明した。

したがって、アンケート結果は人口全体を反映しておらず、アルフ・ランドンが勝つという予測が非常に間違っていたことが判明したのはそのためである。

無回答バイアスを防ぐには

無回答バイアスは、次の手順を実行することで回避 (または少なくとも軽減) できます。

• アンケートは比較的短く設計します。調査が長ければ長いほど、回答に時間を費やす可能性は低くなります。
• アンケートの完了に対してインセンティブを提供します。通常、インセンティブを与えると応答率が向上します。
• アンケートの回答は機密情報または匿名であることを人々に周知してください。これにより、一般的に人々はより積極的に反応するようになります。
• たとえば、ほとんどの人が所有していない新しいアプリではなく、従来の配布形式を使用して、人口の大部分にアンケートが届くようにアンケートを配布します。

無回答バイアスの影響を完全に排除することは必ずしも可能ではありませんが、インテリジェントな調査設計と配布方法を使用することで、これらの影響を最小限に抑えることは可能です。

追加リソース

自己選択バイアスとは何ですか？
アンダーカウントバイアスとは何ですか?
SEOバイアスとは何ですか?