Co uważa się za dobry wynik auc?

Regresja logistyczna to metoda, której używamy do dopasowania modelu regresji, gdy zmienna odpowiedzi jest binarna.

Aby ocenić, jak dobrze model regresji logistycznej pasuje do zbioru danych, możemy przyjrzeć się następującym dwóm metrykom:

• Czułość: prawdopodobieństwo, że model przewiduje pozytywny wynik obserwacji, gdy wynik jest rzeczywiście pozytywny. Nazywa się to również „prawdziwie dodatnią stopą procentową”.
• Specyficzność: prawdopodobieństwo, że model przewiduje negatywny wynik obserwacji, gdy wynik jest faktycznie negatywny. Nazywa się to również „prawdziwie ujemną stopą”.

Jednym ze sposobów wizualizacji tych dwóch pomiarów jest utworzenie krzywej ROC , która oznacza krzywą „charakterystyki działania odbiornika”.

Jest to wykres przedstawiający czułość wzdłuż osi y i (1 – swoistość) wzdłuż osi x.

Jednym ze sposobów ilościowego określenia skuteczności modelu regresji logistycznej w klasyfikacji danych jest obliczenie AUC , co oznacza „obszar pod krzywą”.

Wartość AUC waha się od 0 do 1. Model, który ma AUC wynoszący 1, jest w stanie doskonale klasyfikować obserwacje na klasy, podczas gdy model, który ma AUC wynoszący 0,5, nie jest lepszy od modelu, który dokonuje losowych domysłów.

Jaki jest dobry wynik AUC?

Pytanie, które uczniowie często zadają na temat AUC, brzmi:

Jaki jest dobry wynik AUC?

Odpowiedź:

Nie ma określonego progu określającego, co uważa się za dobry wynik AUC.

Oczywiście im wyższy wynik AUC, tym model ma większą zdolność klasyfikowania obserwacji na klasy.

Wiemy też, że model z wynikiem AUC wynoszącym 0,5 nie jest lepszy od modelu, który dokonuje przypadkowych domysłów.

Nie ma jednak magicznej liczby, która pozwalałaby określić, czy wynik AUC jest dobry, czy zły.

Jeśli musimy sklasyfikować pewne wyniki jako dobre lub złe, możemy odwołać się do następującej praktycznej reguły Hosmera i Lemeshow w Applied Logistic Regression (s. 177):

• 0,5 = Brak dyskryminacji
• 0,5-0,7 = Zła dyskryminacja
• 0,7-0,8 = Akceptowalna dyskryminacja
• 0,8-0,9 = Doskonała dyskryminacja
• >0,9 = Wyjątkowa dyskryminacja

Według tych standardów model z wynikiem AUC poniżej 0,7 zostanie uznany za słaby, a każdy model wyższy zostanie uznany za akceptowalny lub lepszy.

„Dobry” wynik AUC różni się w zależności od branży

Należy pamiętać, że to, co jest uważane za „dobry” wynik AUC, różni się w zależności od branży.

Na przykład w medycynie badacze często szukają wyników AUC powyżej 0,95, ponieważ koszt popełnienia błędu jest bardzo wysoki.

Na przykład, jeśli mamy model regresji logistycznej, który przewiduje, czy u pacjenta zachoruje na nowotwór, koszt popełnienia błędu (fałszywego poinformowania pacjenta, że nie ma raka, a potem, że ma raka) jest tak wysoki, że chcemy model, który sprawdza się niemal za każdym razem.

I odwrotnie, w innych branżach, takich jak marketing, niższy wynik AUC może być akceptowalny dla modelu.

Na przykład, jeśli mamy model, który przewiduje, czy klient będzie stałym klientem, cena za pomyłkę nie zmienia życia, więc model z AUC tak niskim jak 0,6 może być nadal przydatny.

Porównaj wyniki AUC z bieżącym modelem

W warunkach rzeczywistych często porównujemy wyniki AUC nowych modeli regresji logistycznej z wynikiem AUC aktualnie używanego modelu.

Załóżmy na przykład, że firma korzysta z modelu regresji logistycznej, aby przewidzieć, czy klienci będą stałymi klientami.

Jeśli bieżący model ma wynik AUC równy 0,6 i opracujesz nowy model, który ma AUC 0,65, wówczas nowy opracowany model będzie lepszy, nawet jeśli zapewnia jedynie niewielką poprawę i zostałby uznany przez Hosmera i Lemeshowa za „słaby” standardy.

Dodatkowe zasoby

Poniższe samouczki zawierają dodatkowe informacje na temat tworzenia i interpretowania krzywych ROC i wyników AUC:

Jak interpretować krzywą ROC (z przykładami)
Jak utworzyć krzywą ROC w Pythonie
Jak utworzyć krzywą ROC w R
Jak obliczyć AUC w R