Auc スコアはどれくらいが良いと考えられますか?

ロジスティック回帰は、応答変数がバイナリの場合に回帰モデルを近似するために使用する方法です。

ロジスティック回帰モデルがデータセットにどの程度適合しているかを評価するには、次の 2 つの指標を確認します。

• 感度:結果が実際に肯定的な場合に、モデルが観測値に対して肯定的な結果を予測する確率。これは「真陽性率」とも呼ばれます。
• 特異性:結果が実際には陰性である場合に、モデルが観測値に対して陰性の結果を予測する確率。これは「真のネガティブ率」とも呼ばれます。

これら 2 つの測定値を視覚化する 1 つの方法は、「受信機動作特性」曲線を表すROC 曲線を作成することです。

これは、感度を Y 軸に、(1 – 特異度) を X 軸に示したグラフです。

データの分類におけるロジスティック回帰モデルの有効性を定量化する 1 つの方法は、「曲線の下の面積」を表すAUCを計算することです。

AUC 値の範囲は 0 ～ 1 です。AUC が 1 のモデルは観測値をクラスに完全に分類できますが、AUC が 0.5 のモデルはランダムな推測を行うモデルと同じです。

適切な AUC スコアとは何ですか?

AUC について学生がよく尋ねる質問は次のとおりです。

適切な AUC スコアとは何ですか?

答え：

良好な AUC スコアとみなされる値に特定のしきい値はありません。

明らかに、AUC スコアが高いほど、モデルが観測値をクラスに分類する能力が高くなります。

そして、AUC スコアが 0.5 のモデルは、ランダムな推測を行うモデルと同等であることがわかっています。

ただし、AUC スコアが良いか悪いかを判断するための魔法の数字はありません。

特定のスコアを良いか悪いかを分類する必要がある場合は、Hosmer と Lemeshowの『応用ロジスティック回帰(p. 177)』の次の経験則を参照できます。

• 0.5 = 差別なし
• 0.5-0.7 = 悪い差別
• 0.7-0.8 = 許容される差別
• 0.8-0.9 = 優れた識別力
• >0.9 = 例外的な差別

これらの基準によれば、AUC スコアが 0.7 未満のモデルは不良とみなされ、それ以上のモデルは許容範囲または優れているとみなされます。

「良好な」AUC スコアは業界によって異なります

何が「良好」な AUC スコアとみなされるかは業界によって異なることに留意することが重要です。

たとえば、医療分野では、間違いを犯した場合のコストが非常に高いため、研究者は 0.95 を超える AUC スコアを探すことがよくあります。

たとえば、患者ががんを発症するかどうかを予測するロジスティック回帰モデルがある場合、間違いを犯した場合のコスト（患者にがんではないのにがんがあると誤って告げる）が非常に高くなるため、ほぼ毎回正しいモデルです。

逆に、マーケティングなどの他の業界では、モデルの AUC スコアが低くても許容される場合があります。

たとえば、顧客がリピーターになるかどうかを予測するモデルがある場合、間違いの代償は人生を変えるものではないため、AUC が 0.6 という低いモデルでも依然として有用である可能性があります。

AUC スコアを現在のモデルと比較する

実際の設定では、新しいロジスティック回帰モデルの AUC スコアと、現在使用されているモデルの AUC スコアを比較することがよくあります。

たとえば、企業がロジスティック回帰モデルを使用して、顧客がリピート顧客になるかどうかを予測するとします。

現在のモデルの AUC スコアが 0.6 で、AUC が 0.65 の新しいモデルを開発した場合、たとえわずかな改善しか得られず、Hosmer と Lemeshow によって「悪い」とみなされるとしても、開発した新しいモデルの方が望ましいでしょう。規格。

追加リソース

次のチュートリアルでは、ROC 曲線と AUC スコアを作成および解釈する方法に関する追加情報を提供します。

ROC 曲線を解釈する方法 (例付き)
Python で ROC 曲線を作成する方法
RでROCカーブを作成する方法
R で AUC を計算する方法