1. Zbi\u00f3r ucz\u0105cy<\/strong> : u\u017cywany do uczenia modelu.<\/span><\/p>\n 2. Zbi\u00f3r walidacyjny<\/strong> : u\u017cywany do optymalizacji parametr\u00f3w modelu.<\/span><\/p>\n 3. Zbi\u00f3r testowy<\/strong> : u\u017cywany do uzyskania bezstronnego oszacowania ostatecznej wydajno\u015bci modelu.<\/span><\/p>\n Poni\u017cszy diagram przedstawia wizualne wyja\u015bnienie tych trzech r\u00f3\u017cnych typ\u00f3w zbior\u00f3w danych:<\/span> <\/p>\n Jednym z punkt\u00f3w zamieszania dla uczni\u00f3w jest r\u00f3\u017cnica mi\u0119dzy zbiorem walidacyjnym a zbiorem testowym.<\/span><\/p>\n M\u00f3wi\u0105c najpro\u015bciej, zbi\u00f3r walidacyjny<\/strong> s\u0142u\u017cy do optymalizacji parametr\u00f3w modelu, podczas gdy zbi\u00f3r testowy<\/strong> s\u0142u\u017cy do zapewnienia bezstronnego oszacowania ostatecznego modelu.<\/span><\/p>\n Mo\u017cna wykaza\u0107, \u017ce poziom b\u0142\u0119du mierzony za pomoc\u0105 k-krotnej walidacji krzy\u017cowej ma tendencj\u0119 do niedoszacowania prawdziwego poziomu b\u0142\u0119du po zastosowaniu modelu do niewidocznego zbioru danych.<\/span><\/p>\n W zwi\u0105zku z tym dopasowujemy ostateczny model do zbioru testowego<\/strong> , aby uzyska\u0107 bezstronne oszacowanie prawdziwego poziomu b\u0142\u0119d\u00f3w w \u015bwiecie rzeczywistym.<\/span><\/p>\n Poni\u017cszy przyk\u0142ad ilustruje w praktyce r\u00f3\u017cnic\u0119 pomi\u0119dzy zbiorem walidacyjnym a zbiorem testowym.<\/span><\/p>\n Za\u0142\u00f3\u017cmy, \u017ce inwestor na rynku nieruchomo\u015bci chce wykorzysta\u0107 (1) liczb\u0119 sypialni, (2) ca\u0142kowit\u0105 liczb\u0119 st\u00f3p kwadratowych i (3) liczb\u0119 \u0142azienek do przewidzenia ceny sprzeda\u017cy danego domu.<\/span><\/p>\n Za\u0142\u00f3\u017cmy, \u017ce ma zbi\u00f3r danych zawieraj\u0105cy te informacje na temat 10 000 dom\u00f3w. Najpierw podzieli zbi\u00f3r danych na zbi\u00f3r szkoleniowy obejmuj\u0105cy 8000 dom\u00f3w i zbi\u00f3r testowy obejmuj\u0105cy 2000 dom\u00f3w:<\/span> <\/p>\n Nast\u0119pnie czterokrotnie dopasuje model regresji liniowej do zbioru danych. Za ka\u017cdym razem b\u0119dzie u\u017cywa\u0107 6000 dom\u00f3w w zestawie szkoleniowym i 2000 dom\u00f3w w zestawie walidacyjnym.<\/span><\/p>\n Nazywa si\u0119 to k-krotn\u0105 walidacj\u0105 krzy\u017cow\u0105.<\/strong><\/span><\/p>\n Zbi\u00f3r szkoleniowy s\u0142u\u017cy do uczenia modelu, a zbi\u00f3r walidacyjny s\u0142u\u017cy do oceny wydajno\u015bci modelu. Za ka\u017cdym razem do zbioru walidacyjnego b\u0119dzie u\u017cywana inna grupa 2000 dom\u00f3w.<\/span> <\/p>\n Mo\u017ce przeprowadzi\u0107 t\u0119 k-krotn\u0105 weryfikacj\u0119 krzy\u017cow\u0105 na kilku r\u00f3\u017cnych typach modeli regresji, aby zidentyfikowa\u0107 model o najni\u017cszym b\u0142\u0119dzie (tj. zidentyfikowa\u0107 model, kt\u00f3ry najlepiej pasuje do zbioru danych).<\/span><\/p>\n Dopiero po zidentyfikowaniu najlepszego modelu wykorzysta zestaw testowy obejmuj\u0105cy 2000 dom\u00f3w, kt\u00f3ry zaprezentowano na pocz\u0105tku, aby uzyska\u0107 bezstronne oszacowanie ostatecznej wydajno\u015bci modelu.<\/span> <\/p>\n Mo\u017ce na przyk\u0142ad zidentyfikowa\u0107 konkretny typ modelu regresji, kt\u00f3rego \u015bredni b\u0142\u0105d bezwzgl\u0119dny wynosi 8,345<\/strong> . Oznacza to, \u017ce \u015brednia bezwzgl\u0119dna r\u00f3\u017cnica mi\u0119dzy przewidywan\u0105 cen\u0105 mieszkania a rzeczywist\u0105 cen\u0105 mieszkania wynosi 8345 USD.<\/span><\/p>\n Nast\u0119pnie mo\u017ce dopasowa\u0107 ten dok\u0142adny model regresji do zestawu testowego obejmuj\u0105cego 2000 dom\u00f3w, kt\u00f3ry nie zosta\u0142 jeszcze wykorzystany, i stwierdzi\u0107, \u017ce \u015bredni b\u0142\u0105d bezwzgl\u0119dny modelu wynosi 8,847<\/strong> .<\/span><\/p>\n Zatem bezstronne oszacowanie prawdziwego \u015bredniego b\u0142\u0119du bezwzgl\u0119dnego modelu wynosi 8847 USD.<\/span><\/p>\n Prosty przewodnik po walidacji krzy\u017cowej typu K<\/a> Ilekro\u0107 dostosowujemy algorytm uczenia maszynowego do zbioru danych, zazwyczaj dzielimy zbi\u00f3r danych na trzy cz\u0119\u015bci: 1. Zbi\u00f3r ucz\u0105cy : u\u017cywany do uczenia modelu. 2. Zbi\u00f3r walidacyjny : u\u017cywany do optymalizacji parametr\u00f3w modelu. 3. Zbi\u00f3r testowy : u\u017cywany do uzyskania bezstronnego oszacowania ostatecznej wydajno\u015bci modelu. Poni\u017cszy diagram przedstawia wizualne wyja\u015bnienie tych trzech r\u00f3\u017cnych typ\u00f3w zbior\u00f3w danych: […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[3],"tags":[],"class_list":["post-2212","post","type-post","status-publish","format-standard","hentry","category-przewodnik"],"yoast_head":"\n![\"\"](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/test_val1.png\")
<\/p>\n Przyk\u0142ad: Zrozumienie r\u00f3\u017cnicy mi\u0119dzy zestawem walidacyjnym a zestawem testowym<\/strong><\/span><\/h3>\n
![\"\"](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/test_val2.png\")
<\/p>\n![\"\"](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/test_val3.png\")
<\/p>\n![\"\"](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/test_val4.png\")
<\/p>\n Dodatkowe zasoby<\/strong><\/span><\/h3>\n
Jak przeprowadzi\u0107 weryfikacj\u0119 krzy\u017cow\u0105 K-Fold w Pythonie<\/a>
Jak przeprowadzi\u0107 walidacj\u0119 krzy\u017cow\u0105 K-Fold w R<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"