Wynik f1 a dokładność: którego powinieneś użyć?

Podczas korzystania z modeli klasyfikacyjnych w uczeniu maszynowym często używamy dwóch wskaźników do oceny jakości modelu: wyniku F1 i dokładności .

W przypadku obu metryk im wyższa wartość, tym model ma większą zdolność klasyfikowania obserwacji w klasy.

Jednak każdy wskaźnik jest obliczany przy użyciu innego wzoru, a jego stosowanie ma zalety i wady.

Poniższy przykład pokazuje, jak w praktyce obliczyć każdą metrykę.

Przykład: Obliczanie wyniku i dokładności F1

Załóżmy, że używamy modelu regresji logistycznej do przewidzenia, czy 400 różnych koszykarzy z college’u zostanie powołanych do NBA.

Poniższa macierz zamieszania podsumowuje przewidywania dokonane przez model:

Oto jak obliczyć różne metryki macierzy zamieszania:

Dokładność: popraw pozytywne przewidywania w stosunku do całkowitych pozytywnych przewidywań

• Dokładność = prawdziwie dodatnia / (prawdziwie dodatnia + fałszywie dodatnia)
• Dokładność = 120 / (120 + 70)
• Dokładność = 0,63

Przypomnienie: Poprawiaj pozytywne prognozy w porównaniu z całkowitą liczbą rzeczywistych wyników pozytywnych

• Przywołanie = prawdziwie dodatnie / (prawdziwie dodatnie + fałszywie ujemne)
• Przypomnienie = 120 / (120 + 40)
• Przypomnienie = 0,75

Dokładność: procent wszystkich poprawnie sklasyfikowanych obserwacji

• Dokładność = (prawdziwie dodatni + prawdziwie ujemny) / (całkowity rozmiar próbki)
• Dokładność = (120 + 170) / (400)
• Dokładność = 0,725

Wynik F1: średnia harmoniczna precyzji i zapamiętywania

• Wynik F1 = 2 * (Precyzja * Przywołanie) / (Precyzja + Przypomnienie)
• Wynik F1 = 2 * (0,63 * 0,75) / (0,63 + 0,75)
• Wynik F1 = 0,685

Kiedy stosować wynik F1 a dokładność

Istnieją zalety i wady korzystania z wyniku i dokładności F1.

Dokładność :

Zaleta : Łatwe do interpretacji. Jeśli mówimy, że model jest dokładny w 90%, to wiemy, że poprawnie sklasyfikował 90% obserwacji.

Wada : nie uwzględnia sposobu dystrybucji danych. Załóżmy na przykład, że 90% wszystkich graczy nie jest powołanych do NBA. Gdybyśmy mieli model, który po prostu przewidywał, że każdy gracz nie zostanie wybrany do draftu, model ten poprawnie przewidziałby wynik dla 90% graczy. Wartość ta wydaje się wysoka, jednak w rzeczywistości model nie jest w stanie poprawnie przewidzieć, którzy gracze zostaną powołani do draftu.

Wyniki F1 :

Pro : Weź pod uwagę sposób dystrybucji danych. Na przykład, jeśli dane są bardzo niezrównoważone (np. 90% wszystkich graczy nie zostało wybranych do draftu, a 10% tak), wówczas wynik F1 zapewni lepszą ocenę wydajności modelu.

Wada : Trudniejsza do interpretacji. Wynik F1 to połączenie precyzji i zapamiętywania modelu, co czyni go nieco trudniejszym do interpretacji.

Ogólnie:

Często używamy dokładności , gdy klasy są zrównoważone i nie ma większych wad w przewidywaniu fałszywych negatywów.

Często używamy wyniku F1, gdy klasy są niezrównoważone, a przewidywanie fałszywych negatywów ma poważną wadę.

Na przykład, jeśli użyjemy modelu regresji logistycznej do przewidzenia, czy dana osoba ma raka, czy nie, wyniki fałszywie negatywne są naprawdę złe (np. przewidywanie, że dana osoba nie ma raka, podczas gdy w rzeczywistości ma a), zatem wynik F1 będzie karać modele, które mają zbyt wiele fałszywych negatywów. więcej niż precyzja.

Dodatkowe zasoby

Regresja vs. klasyfikacja: jaka jest różnica?
Wprowadzenie do regresji logistycznej
Jak przeprowadzić regresję logistyczną w R
Jak przeprowadzić regresję logistyczną w Pythonie