Jak porównać dwie krzywe roc (z przykładem)

Jednym ze sposobów wizualizacji wydajności modeli klasyfikacji w uczeniu maszynowym jest utworzenie krzywej ROC , która oznacza krzywą „charakterystyki operacyjnej odbiornika”.

Ten typ krzywej przedstawia czułość i specyfikę modelu klasyfikacji:

• Czułość: prawdopodobieństwo, że model przewiduje pozytywny wynik obserwacji, gdy wynik jest rzeczywiście pozytywny.
• Specyfika: prawdopodobieństwo, że model przewiduje negatywny wynik obserwacji, gdy wynik jest faktycznie negatywny.

Oś x krzywej ROC reprezentuje (1- Swoistość), a oś y oznacza czułość :

Im bardziej krzywa ROC pasuje do lewego górnego rogu wykresu, tym lepiej model jest w stanie sklasyfikować dane w kategorie.

Aby to określić ilościowo, możemy obliczyć AUC (obszar pod krzywą), który mówi nam, jaka część wykresu znajduje się pod krzywą.

Im AUC jest bliższe 1, tym lepszy model.

Porównując dwie krzywe ROC w celu ustalenia, który model klasyfikacji jest lepszy, często sprawdzamy, która krzywa ROC „przytula się” bliżej lewego górnego rogu wykresu i dlatego ma wyższą wartość AUC.

Przykład: Jak porównać dwie krzywe ROC

Załóżmy, że dopasowujemy model regresji logistycznej i model ze wzmocnionym gradientem do zbioru danych, aby przewidzieć wynik zmiennej odpowiedzi.

Załóżmy, że następnie utworzymy krzywe ROC, aby zwizualizować wydajność każdego modelu:

Niebieska linia przedstawia krzywą ROC dla modelu regresji logistycznej, a pomarańczowa linia przedstawia krzywą ROC dla modelu ze wzmocnionym gradientem.

Z naszego wykresu możemy zobaczyć następujące wartości AUC dla każdego modelu:

• AUC modelu regresji logistycznej: 0,7902
• AUC modelu wzmocnionego gradientem: 0,9712

Ponieważ model o ulepszonym gradiencie ma wyższą wartość AUC, powiedzielibyśmy, że lepiej przewiduje wynik zmiennej odpowiedzi.

Uwaga : w tym przykładzie porównaliśmy tylko dwie krzywe ROC, ale możliwe jest dopasowanie kilku różnych modeli klasyfikacji do zbioru danych i porównanie jeszcze większej liczby krzywych ROC w celu określenia najlepszego modelu do użycia.

Dodatkowe zasoby

Poniższe samouczki zawierają dodatkowe informacje na temat modeli klasyfikacji i krzywych ROC:

Wprowadzenie do regresji logistycznej
Jak interpretować krzywą ROC
Co uważa się za dobry wynik AUC?