Pontuação f1 vs precisão: qual você deve usar?

Ao usar modelos de classificação em aprendizado de máquina, duas métricas que costumamos usar para avaliar a qualidade do modelo são a pontuação F1 e a precisão .

Para ambas as métricas, quanto maior o valor, mais capaz é o modelo de classificar as observações em classes.

No entanto, cada métrica é calculada usando uma fórmula diferente e há vantagens e desvantagens em utilizá-la.

O exemplo a seguir mostra como calcular cada métrica na prática.

Exemplo: Cálculo da pontuação e precisão F1

Suponha que usemos um modelo de regressão logística para prever se 400 jogadores diferentes de basquete universitário serão ou não convocados para a NBA.

A seguinte matriz de confusão resume as previsões feitas pelo modelo:

Veja como calcular várias métricas para a matriz de confusão:

Precisão: previsões positivas corretas em relação ao total de previsões positivas

• Precisão = Verdadeiro Positivo / (Verdadeiro Positivo + Falso Positivo)
• Precisão = 120 / (120 + 70)
• Precisão = 0,63

Lembrete: corrija as previsões positivas em relação ao total de positivos reais

• Recall = Verdadeiro Positivo / (Verdadeiro Positivo + Falso Negativo)
• Lembre-se = 120 / (120 + 40)
• Recordar = 0,75

Precisão: porcentagem de todas as observações classificadas corretamente

• Precisão = (Verdadeiro positivo + Verdadeiro negativo) / (Tamanho total da amostra)
• Precisão = (120 + 170) / (400)
• Precisão = 0,725

Pontuação F1: média harmônica de precisão e recall

• Pontuação F1 = 2 * (Precisão * Recuperação) / (Precisão + Recuperação)
• Pontuação F1 = 2 * (0,63 * 0,75) / (0,63 + 0,75)
• Pontuação F1 = 0,685

Quando usar a pontuação F1 versus precisão

Existem prós e contras em usar a pontuação e precisão da F1.

Precisão :

Pró : Fácil de interpretar. Se dissermos que um modelo é 90% preciso, sabemos que ele classificou corretamente 90% das observações.

Desvantagem : Não leva em consideração como os dados são distribuídos. Por exemplo, vamos supor que 90% de todos os jogadores não sejam convocados para a NBA. Se tivéssemos um modelo que simplesmente previsse que todos os jogadores não seriam draftados, o modelo preveria corretamente o resultado para 90% dos jogadores. Este valor parece alto, mas na verdade o modelo não consegue prever corretamente quais jogadores serão convocados.

Resultados da F1 :

Pró : considere como os dados são distribuídos. Por exemplo, se os dados forem altamente desequilibrados (por exemplo, 90% de todos os jogadores não são draftados e 10% são), então a pontuação F1 fornecerá uma melhor avaliação do desempenho do modelo.

Desvantagem : Mais difícil de interpretar. A pontuação F1 é uma mistura de precisão e recuperação de modelo, tornando-a um pouco mais difícil de interpretar.

Geralmente:

Freqüentemente usamos precisão quando as classes são equilibradas e não há grande desvantagem em prever falsos negativos.

Freqüentemente usamos a pontuação F1 quando as classes são desequilibradas e há uma séria desvantagem na previsão de falsos negativos.

Por exemplo, se usarmos um modelo de regressão logística para prever se uma pessoa tem ou não câncer, os falsos negativos são realmente ruins (por exemplo, prever que uma pessoa não tem câncer quando na verdade tem câncer), então a pontuação F1 penalizará os modelos que têm muitos falsos negativos. mais que precisão.

Recursos adicionais

Regressão vs. classificação: qual é a diferença?
Introdução à regressão logística
Como realizar regressão logística em R
Como realizar regressão logística em Python