如何比较两条 roc 曲线(附示例)
可视化机器学习中分类模型性能的一种方法是创建ROC 曲线,它代表“接收器操作特征”曲线。
此类曲线显示分类模型的敏感性和特异性:
- 敏感性:当结果实际上是积极的时,模型预测观察结果为积极的概率。
- 特异性:当结果实际上为负时,模型预测观察为负结果的概率。
ROC 曲线的x 轴代表(1- 特异性) , y 轴代表灵敏度:
ROC 曲线越接近图的左上角,模型就越能将数据分类。
为了量化这一点,我们可以计算AUC (曲线下面积),它告诉我们有多少图位于曲线下。
AUC 越接近 1,模型越好。
当比较两条 ROC 曲线以确定哪个分类模型更好时,我们经常会查看哪条 ROC 曲线更接近图的左上角,因此具有更高的 AUC 值。
示例:如何比较两条 ROC 曲线
假设我们将逻辑回归模型和梯度增强模型拟合到数据集以预测响应变量的结果。
假设我们随后创建 ROC 曲线来可视化每个模型的性能:
蓝线显示逻辑回归模型的 ROC 曲线,橙线显示梯度增强模型的 ROC 曲线。
从我们的图表中,我们可以看到每个模型的以下 AUC 值:
- 逻辑回归模型的AUC: 0.7902
- 梯度增强模型的 AUC: 0.9712
由于梯度改进模型具有更高的 AUC 值,我们可以说它更好地预测响应变量的结果。
注意:在此示例中,我们仅比较了两条 ROC 曲线,但可以将多个不同的分类模型拟合到数据集并比较更多 ROC 曲线以确定要使用的最佳模型。
其他资源
以下教程提供有关分类模型和 ROC 曲线的其他信息: