2 つの roc 曲線を比較する方法 (例あり)
機械学習における分類モデルのパフォーマンスを視覚化する 1 つの方法は、「受信機動作特性」曲線を表すROC 曲線を作成することです。
このタイプの曲線は、分類モデルの感度と特異度を示します。
- 感度:結果が実際に肯定的な場合に、モデルが観測値に対して肯定的な結果を予測する確率。
- 特異性:結果が実際には陰性である場合に、モデルが観測に対して陰性の結果を予測する確率。
ROC 曲線のx 軸は(1-特異性)を表し、 y 軸は感度を表します。
ROC 曲線がプロットの左上隅に近ければ近いほど、モデルはデータをより適切にカテゴリに分類できます。
これを定量化するには、プロットのどの程度が曲線の下にあるかを示すAUC (曲線下面積) を計算します。
AUC が 1 に近づくほど、モデルは優れています。
どちらの分類モデルが優れているかを判断するために 2 つの ROC 曲線を比較する場合、多くの場合、どちらの ROC 曲線がプロットの左上隅により近く「密着」しており、したがって AUC 値がより高いかに注目します。
例: 2 つの ROC 曲線を比較する方法
ロジスティック回帰モデルと勾配強調モデルをデータセットに適合させて、応答変数の結果を予測するとします。
次に、ROC 曲線を作成して各モデルのパフォーマンスを視覚化するとします。
青い線はロジスティック回帰モデルの ROC 曲線を示し、オレンジ色の線は勾配ブースト モデルの ROC 曲線を示します。
グラフから、各モデルの次の AUC 値がわかります。
- ロジスティック回帰モデルの AUC: 0.7902
- 勾配ブースト モデルの AUC: 0.9712
勾配改善モデルの AUC 値はより高いため、応答変数の結果をより適切に予測すると言えます。
注: この例では 2 つの ROC 曲線のみを比較しましたが、複数の異なる分類モデルをデータセットに適合させ、さらに多くの ROC 曲線を比較して、使用する最適なモデルを決定することも可能です。
追加リソース
次のチュートリアルでは、分類モデルと ROC 曲線に関する追加情報を提供します。
著者について
ベンジャミン・アンダーソン博士
私はベンジャミンです。退職した統計教授から、専任の Statorials 教育者になりました。 統計分野における豊富な経験と専門知識を活かして、私は Statorials を通じて学生に力を与えるために自分の知識を共有することに尽力しています。もっと知る