"좋은"이란 무엇입니까? 기계 학습 모델의 정확성?

기계 학습에서 분류 모델을 사용할 때 모델 품질을 평가하기 위해 자주 사용하는 측정항목 중 하나는 정확성 입니다.

정밀도는 단순히 모델에 의해 올바르게 분류된 모든 관측치의 백분율입니다.

다음과 같이 계산됩니다.

정확도 = (# 참양성 + # 참음성) / (총 표본 크기)

정확성에 관해 학생들이 자주 묻는 질문은 다음과 같습니다.

기계 학습 모델의 정확성에 대한 “좋은” 값으로 간주되는 것은 무엇입니까?

모델의 정확도는 0%에서 100% 사이로 달라질 수 있지만 모델의 정확도가 “좋은”지 여부를 결정하는 데 사용하는 보편적인 임계값은 없습니다.

대신 일반적으로 모델의 정확도를 참조 모델의 정확도와 비교합니다.

기준 모델은 데이터 세트의 각 관찰이 가장 일반적인 클래스에 속한다고 간단히 예측합니다.

실제로 참조 모델보다 정확도가 더 높은 분류 모델은 “유용하다”고 간주될 수 있지만 분명히 모델과 참조 모델 간의 정확도 차이가 클수록 더 좋습니다.

다음 예에서는 분류 모델의 정확도가 “좋은”지 여부를 대략적으로 확인하는 방법을 보여줍니다.

예: 모델의 정확도가 “좋은”지 확인

400명의 대학 농구 선수가 NBA에 선발될지 여부를 예측하기 위해 로지스틱 회귀 모델을 사용한다고 가정해 보겠습니다.

다음 혼동 행렬은 모델의 예측을 요약합니다.

이 모델의 정확도를 계산하는 방법은 다음과 같습니다.

• 정확도 = (# 참양성 + # 참음성) / (총 표본 크기)
• 정확도 = (120 + 170) / (400)
• 정확도 = 0.725

모델은 72.5% 의 플레이어에 대한 결과를 정확하게 예측했습니다.

정확도가 “좋은”지 아닌지에 대한 아이디어를 얻으려면 기준 모델의 정확도를 계산할 수 있습니다.

이 예에서 플레이어의 가장 일반적인 결과는 드래프트가 취소되는 것이었습니다. 구체적으로 말하면 400명의 선수 중 240명이 드래프트되지 않았습니다.

기본 모델은 단순히 각 플레이어가 드래프트되지 않을 것이라고 예측하는 모델입니다.

이 모델의 정확도는 다음과 같이 계산됩니다.

• 정확도 = (# 참양성 + # 참음성) / (총 표본 크기)
• 정확도 = (0 + 240) / (400)
• 정확도 = 0.6

이 기본 모델은 60% 의 플레이어에 대한 결과를 정확하게 예측합니다.

이 시나리오에서 로지스틱 회귀 모델은 기준 모델에 비해 정확도가 눈에 띄게 향상되었으므로 모델이 적어도 “유용하다”고 간주합니다.

실제로는 여러 가지 분류 모델을 적용하고 기본 모델에 비해 정확도가 가장 높은 모델로 최종 모델을 선택할 것입니다.

정확도를 사용하여 모델 성능을 평가할 때 주의 사항

정밀도는 해석하기 쉽기 때문에 일반적으로 사용되는 측정항목입니다.

예를 들어, 모델이 90% 정확하다고 말하면 해당 모델이 관측값의 90%를 올바르게 분류했다는 것을 알 수 있습니다.

그러나 정확성에는 데이터가 어떻게 배포되는지는 고려되지 않습니다.

예를 들어 전체 선수의 90%가 NBA에 드래프트되지 않았다고 가정해 보겠습니다. 모든 플레이어가 드래프트되지 않을 것이라고 단순히 예측하는 모델이 있다면 이 모델은 플레이어 중 90%에 대한 결과를 정확하게 예측할 것입니다.

이 값은 높은 것처럼 보이지만 모델은 실제로 어떤 선수가 드래프트될지 정확하게 예측할 수 없습니다.

자주 사용되는 대체 측정항목은 F1 점수 라고 하며 데이터가 분산되는 방식을 고려합니다.

예를 들어, 데이터의 불균형이 심한 경우(예: 모든 플레이어의 90%가 드래프트되지 않고 10%가 드래프트됨) F1 점수는 모델 성능에 대한 더 나은 평가를 제공합니다.

정확도와 F1 점수의 차이점에 대해 여기에서 자세히 알아보세요.

추가 리소스

다음 자습서에서는 기계 학습 분류 모델에 사용되는 측정항목에 대한 추가 정보를 제공합니다.

균형 잡힌 정확도란 무엇입니까?
‘좋은’ F1 점수란 무엇입니까?