什么被认为是良好的 auc 分数？

逻辑回归是当响应变量是二元时我们用来拟合回归模型的方法。

为了评估逻辑回归模型对数据集的拟合程度，我们可以查看以下两个指标：

• 敏感性：当结果实际上是积极的时，模型预测观察结果为积极的概率。这也称为“真阳性率”。
• 特异性：当结果实际上为负时，模型预测观察结果为负的概率。这也称为“真负率”。

可视化这两个测量值的一种方法是创建ROC 曲线，它代表“接收器操作特性”曲线。

该图沿 y 轴显示灵敏度，沿 x 轴显示（1 – 特异性）。

量化逻辑回归模型在数据分类方面的有效性的一种方法是计算AUC ，它代表“曲线下面积”。

AUC 值的范围从 0 到 1。AUC 为 1 的模型能够完美地将观察结果分类，而 AUC 为 0.5 的模型并不比进行随机猜测的模型更好。

什么是好的 AUC 分数？

关于AUC，学生经常问的一个问题是：

什么是好的 AUC 分数？

答案：

对于什么是好的 AUC 分数，没有具体的阈值。

显然，AUC 分数越高，模型将观察结果分类的能力就越强。

我们知道，AUC 分数为 0.5 的模型并不比随机猜测的模型更好。

然而，没有神奇的数字来确定 AUC 分数的好坏。

如果我们需要将某些分数分类为好或坏，我们可以参考 Hosmer 和 Lemeshow在Applied Logistic Regression (p. 177) 中的以下经验法则：

• 0.5 = 没有歧视
• 0.5-0.7 = 不好的辨别力
• 0.7-0.8 = 可接受的歧视
• 0.8-0.9 = 出色的辨别力
• >0.9 = 异常歧视

根据这些标准，AUC 分数低于 0.7 的模型将被视为较差，任何更高的模型将被视为可接受或更好。

“良好”的 AUC 分数因行业而异

请务必记住，“良好”AUC 分数的定义因行业而异。

例如，在医学领域，研究人员经常寻找 AUC 分数高于 0.95 的分数，因为犯错误的成本非常高。

例如，如果我们有一个逻辑回归模型来预测患者是否会患上癌症，那么犯错误（错误地告诉患者他们没有患癌症，然后他患有癌症）的成本非常高，以至于我们想要几乎每次都正确的模型。

相反，在营销等其他行业，模型可以接受较低的 AUC 分数。

例如，如果我们有一个模型可以预测客户是否会成为回头客，那么错误的代价不会改变生活，因此 AUC 低至 0.6 的模型仍然有用。

将 AUC 分数与当前模型进行比较

在现实世界中，我们经常将新逻辑回归模型的 AUC 分数与当前使用的模型的 AUC 分数进行比较。

例如，假设一家公司使用逻辑回归模型来预测客户是否会成为回头客。

如果当前模型的 AUC 分数为 0.6，而您开发了一个 AUC 为 0.65 的新模型，那么您开发的新模型将是更可取的，即使它只提供了轻微的改进，并且会被 Hosmer 和 Lemeshow 视为“差”标准。

其他资源

以下教程提供了有关如何创建和解释 ROC 曲线和 AUC 分数的更多信息：

如何解释 ROC 曲线（附示例）
如何在 Python 中创建 ROC 曲线
如何在 R 中创建 ROC 曲线
如何在R中计算AUC