Doğrulama seti ve test seti: fark nedir?

Bir makine öğrenimi algoritmasını bir veri kümesine uyarladığımızda, genellikle veri kümesini üç parçaya böleriz:

1. Eğitim seti : modeli eğitmek için kullanılır.

2. Doğrulama seti : model parametrelerini optimize etmek için kullanılır.

3. Test seti : Nihai model performansına ilişkin tarafsız bir tahmin elde etmek için kullanılır.

Aşağıdaki şemada bu üç farklı veri seti türünün görsel bir açıklaması sunulmaktadır:

Öğrencilerin kafasını karıştıran noktalardan biri doğrulama seti ile test seti arasındaki farktır.

Basitçe söylemek gerekirse, doğrulama seti model parametrelerini optimize etmek için kullanılırken , test seti nihai modelin tarafsız bir tahminini sağlamak için kullanılır.

Model görünmeyen bir veri kümesine uygulandığında, k-katlı çapraz doğrulamayla ölçülen hata oranının gerçek hata oranını olduğundan düşük tahmin etme eğiliminde olduğu gösterilebilir.

Böylece, gerçek dünyada gerçek hata oranının ne olacağına dair tarafsız bir tahmin elde etmek için son modeli test setine uyarlıyoruz.

Aşağıdaki örnek, pratikte doğrulama seti ile test seti arasındaki farkı göstermektedir.

Örnek: Doğrulama seti ile test seti arasındaki farkı anlama

Diyelim ki bir emlak yatırımcısı, belirli bir evin satış fiyatını tahmin etmek için (1) yatak odası sayısını, (2) toplam metrekare sayısını ve (3) banyo sayısını kullanmak istiyor.

Diyelim ki elinde 10.000 ev hakkında bu bilgilerin yer aldığı bir veri seti var. İlk olarak veri setini 8.000 evden oluşan bir eğitim seti ve 2.000 evden oluşan bir test setine bölecek:

Daha sonra veri setine dört kez çoklu doğrusal regresyon modeli sığdırılacaktır. Her seferinde eğitim seti için 6.000 ev ve doğrulama seti için 2.000 ev kullanılacaktır.

Buna k-katlı çapraz doğrulama denir.

Eğitim seti modeli eğitmek için, doğrulama seti ise modelin performansını değerlendirmek için kullanılır. Doğrulama seti için her seferinde 2.000 evden oluşan farklı bir grup kullanılacaktır.

En düşük hataya sahip modeli belirlemek (yani veri kümesine en iyi uyan modeli belirlemek) için bu k-katlı çapraz doğrulamayı birkaç farklı regresyon modeli türü üzerinde gerçekleştirebilir.

Ancak en iyi modeli belirledikten sonra, modelin nihai performansına ilişkin tarafsız bir tahmin elde etmek için başlangıçta sunduğu 2.000 evlik test setini kullanacak.

Örneğin, ortalama mutlak hatası 8,345 olan belirli bir regresyon modeli türünü tanımlayabilir. Yani öngörülen konut fiyatı ile gerçek konut fiyatı arasındaki ortalama mutlak fark 8.345 dolardır.

Daha sonra bu kesin regresyon modelini henüz kullanılmamış 2.000 evden oluşan test setine uydurabilir ve modelin ortalama mutlak hatasının 8,847 olduğunu bulabilir.

Dolayısıyla modelin gerçek ortalama mutlak hatasının tarafsız tahmini 8.847 dolardır.

Ek kaynaklar

K Katlamalı Çapraz Doğrulama İçin Basit Bir Kılavuz
Python’da K-Fold çapraz doğrulama nasıl gerçekleştirilir?
R’de K-Fold çapraz doğrulama nasıl gerçekleştirilir?