검증 세트와 테스트 세트: 차이점은 무엇인가요?

기계 학습 알고리즘을 데이터 세트에 적용할 때마다 일반적으로 데이터 세트를 세 부분으로 나눕니다.

1. 훈련 세트 : 모델을 훈련하는 데 사용됩니다.

2. 검증 세트 : 모델 매개변수를 최적화하는 데 사용됩니다.

3. 테스트 세트 : 최종 모델 성능의 편견 없는 추정치를 얻는 데 사용됩니다.

다음 다이어그램은 이러한 세 가지 유형의 데이터 세트에 대한 시각적 설명을 제공합니다.

학생들이 혼동하는 한 가지 점은 검증 세트와 테스트 세트의 차이입니다.

간단히 말해서, 검증 세트는 모델 매개변수를 최적화하는 데 사용되고 테스트 세트는 최종 모델의 편향되지 않은 추정치를 제공하는 데 사용됩니다.

k-겹 교차 검증으로 측정된 오류율은 모델이 보이지 않는 데이터 세트에 적용되면 실제 오류율을 과소평가하는 경향이 있음을 알 수 있습니다.

따라서 실제 세계에서 실제 오류율이 어느 정도인지에 대한 편견 없는 추정치를 얻기 위해 최종 모델을 테스트 세트 에 맞췄습니다.

다음 예에서는 실제로 검증 세트와 테스트 세트의 차이점을 보여줍니다.

예: 검증 세트와 테스트 세트의 차이점 이해

부동산 투자자가 (1) 침실 수, (2) 총 평방 피트 수, (3) 욕실 수를 사용하여 특정 주택의 판매 가격을 예측하려고 한다고 가정해 보겠습니다.

그가 10,000채의 주택에 대한 정보가 포함된 데이터 세트를 가지고 있다고 가정해 보겠습니다. 먼저 데이터 세트를 8,000개 주택의 훈련 세트와 2,000개 주택의 테스트 세트로 분할합니다.

그런 다음 다중 선형 회귀 모델을 데이터 세트에 4번 적합시킵니다. 매번 훈련 세트에 6,000개의 주택을 사용하고 검증 세트에 2,000개의 주택을 사용합니다.

이를 k-겹 교차 검증이라고 합니다.

훈련 세트는 모델을 훈련하는 데 사용되고 검증 세트는 모델의 성능을 평가하는 데 사용됩니다. 검증 세트에 대해 매번 2,000개의 주택으로 구성된 다른 그룹을 사용합니다.

여러 가지 다른 유형의 회귀 모델에 대해 이 k-겹 교차 검증을 수행하여 오류가 가장 낮은 모델을 식별할 수 있습니다(즉, 데이터 세트에 가장 적합한 모델 식별).

최고의 모델을 식별한 후에만 처음에 제시한 2,000개 홈 테스트 세트를 사용하여 모델의 최종 성능에 대한 편견 없는 추정치를 얻습니다.

예를 들어 평균 절대 오차가 8.345 인 특정 유형의 회귀 모델을 식별할 수 있습니다. 즉, 예상 주택가격과 실제 주택가격의 평균 절대차는 $8,345이다.

그런 다음 그는 아직 사용되지 않은 2,000채의 주택으로 구성된 테스트 세트에 이 정확한 회귀 모델을 적용할 수 있으며 모델의 평균 절대 오차는 8.847 입니다.

따라서 모델의 실제 평균 절대 오차에 대한 편견 없는 추정치는 $8,847입니다.

추가 리소스

K-폴드 교차 검증에 대한 간단한 가이드
Python에서 K-Fold 교차 검증을 수행하는 방법
R에서 K-Fold 교차 검증을 수행하는 방법