dochod\u00f3w i wieku nowego wnioskodawcy, prawdopodobie\u0144stwa, \u017ce nie sp\u0142aci on po\u017cyczki.<\/span><\/p>\n Aby okre\u015bli\u0107, czy model ma silne zdolno\u015bci predykcyjne, musimy go u\u017cy\u0107 do przewidywania<\/span> danych, kt\u00f3rych nigdy wcze\u015bniej nie widzia\u0142. Pozwoli to oszacowa\u0107 b\u0142\u0105d predykcji<\/strong> modelu.<\/span><\/p>\n Korzystanie z walidacji krzy\u017cowej w celu oszacowania b\u0142\u0119du przewidywania<\/span><\/strong><\/h2>\n Walidacja krzy\u017cowa<\/strong> odnosi si\u0119 do r\u00f3\u017cnych sposob\u00f3w szacowania b\u0142\u0119du przewidywania.<\/span> Og\u00f3lne podej\u015bcie do<\/span> walidacji krzy\u017cowej jest nast\u0119puj\u0105ce:<\/span><\/p>\n 1.<\/strong> Od\u0142\u00f3\u017c na bok pewn\u0105 liczb\u0119 obserwacji w zbiorze danych \u2013 zazwyczaj 15-25% wszystkich obserwacji.<\/span>
2.<\/strong> Dopasuj (lub \u201ewytrenuj\u201d) model na obserwacjach, kt\u00f3re przechowujemy w zbiorze danych.<\/span>
3.<\/strong> Sprawd\u017a, jak dobrze model mo\u017ce przewidywa\u0107 obserwacje, kt\u00f3rych nie wykorzystali\u015bmy do uczenia modelu.<\/span><\/p>\n Pomiar jako\u015bci modelu<\/strong><\/span><\/h2>\n Kiedy u\u017cywamy dopasowanego modelu do przewidywania nowych obserwacji, mo\u017cemy u\u017cy\u0107 kilku r\u00f3\u017cnych metryk do pomiaru jako\u015bci modelu, w tym:<\/span><\/p>\n Wielokrotne R-kwadrat:<\/strong> Mierzy si\u0142\u0119 liniowej zale\u017cno\u015bci mi\u0119dzy zmiennymi predykcyjnymi a<\/span> zmienn\u0105 odpowiedzi. R-kwadrat wielokrotno\u015bci 1 wskazuje na idealn\u0105 zale\u017cno\u015b\u0107 liniow\u0105, podczas gdy<\/span> R-kwadrat wielokrotno\u015bci 0 oznacza brak zale\u017cno\u015bci liniowej. Im wy\u017csza wielokrotno\u015b\u0107 R-kwadrat, tym wi\u0119ksze prawdopodobie\u0144stwo, \u017ce zmienne predykcyjne przewidz\u0105 zmienn\u0105 odpowiedzi.<\/span><\/p>\n Pierwiastek \u015bredniokwadratowy (RMSE):<\/strong> mierzy \u015bredni b\u0142\u0105d przewidywania pope\u0142niany przez model podczas przewidywania warto\u015bci<\/span> nowej obserwacji. Jest to \u015brednia odleg\u0142o\u015b\u0107 pomi\u0119dzy prawdziw\u0105 warto\u015bci\u0105 obserwacji a warto\u015bci\u0105 przewidywan\u0105 przez model.<\/span> Ni\u017csze<\/span> warto\u015bci RMSE wskazuj\u0105 na lepsze dopasowanie modelu.<\/span><\/p>\n \u015aredni b\u0142\u0105d bezwzgl\u0119dny (MAE):<\/strong> Jest to \u015brednia bezwzgl\u0119dna r\u00f3\u017cnica mi\u0119dzy prawdziw\u0105 warto\u015bci\u0105 obserwacji a warto\u015bci\u0105 przewidywan\u0105 przez model.<\/span> Metryka ta jest generalnie mniej wra\u017cliwa na warto\u015bci odstaj\u0105ce ni\u017c RMSE. Ni\u017csze warto\u015bci MAE wskazuj\u0105 na lepsze dopasowanie modelu.<\/span><\/p>\n Implementacja czterech r\u00f3\u017cnych technik walidacji krzy\u017cowej w R<\/strong><\/span><\/h2>\n Nast\u0119pnie wyja\u015bnimy, jak wdro\u017cy\u0107 nast\u0119puj\u0105ce techniki walidacji krzy\u017cowej w R:<\/span><\/p>\n 1.<\/strong> Podej\u015bcie oparte na zestawie walidacyjnym<\/span>
2.<\/strong> k-krotna walidacja krzy\u017cowa<\/span>
3.<\/strong> Od\u0142\u00f3\u017c na bok weryfikacj\u0119 krzy\u017cow\u0105<\/span>
4.<\/strong> Powtarzana k-krotna walidacja krzy\u017cowa<\/span><\/p>\n Aby zilustrowa\u0107, jak korzysta\u0107 z tych r\u00f3\u017cnych technik, u\u017cyjemy podzbioru wbudowanego zbioru danych R mtcars<\/em> :<\/span><\/p>\n #define dataset\n<\/span>data <- mtcars[, c(\"mpg\", \"disp\", \"hp\", \"drat\")]\n\n#view first six rows of new data\n<\/span>head(data)\n\n# mpg disp hp drat\n#Mazda RX4 21.0 160 110 3.90\n#Mazda RX4 Wag 21.0 160 110 3.90\n#Datsun 710 22.8 108 93 3.85\n#Hornet 4 Drive 21.4 258 110 3.08\n#Hornet Sportabout 18.7 360 175 3.15\n#Valiant 18.1 225 105 2.76\n<\/strong><\/pre>\n Zbudujemy model regresji liniowej, wykorzystuj\u0105c disp<\/em> , hp<\/em> i drat<\/em> jako zmienne predykcyjne oraz mpg<\/em><\/span> jako zmienn\u0105 odpowiedzi.<\/span><\/p>\n Metoda zestawu walidacyjnego<\/span><\/strong><\/h2>\n Metoda zestawu walidacyjnego<\/strong> dzia\u0142a w nast\u0119puj\u0105cy spos\u00f3b:<\/span><\/p>\n 1.<\/strong> Podziel dane na dwa zbiory: jeden s\u0142u\u017cy do uczenia modelu (tj. szacowania parametr\u00f3w modelu),<\/span> a drugi do testowania modelu. Og\u00f3lnie rzecz bior\u0105c, zbi\u00f3r ucz\u0105cy jest generowany poprzez losowe wybranie<\/span> 70\u201380% danych, a pozosta\u0142e 20\u201330% danych s\u0142u\u017cy jako zbi\u00f3r testowy.<\/span><\/p>\n 2.<\/strong> Utw\u00f3rz model, korzystaj\u0105c ze zbioru danych ucz\u0105cych.<\/span>
3.<\/strong> Wykorzystaj model do przewidywania danych zbioru testowego.<\/span>
4.<\/strong> Zmierz jako\u015b\u0107 modelu za pomoc\u0105 wska\u017anik\u00f3w takich jak R-kwadrat, RMSE i MAE.<\/span><\/p>\n Przyk\u0142ad:<\/span><\/strong><\/h3>\n W poni\u017cszym przyk\u0142adzie wykorzystano zbi\u00f3r danych zdefiniowany powy\u017cej. Najpierw dzielimy dane na<\/span>
zbi\u00f3r ucz\u0105cy i zbi\u00f3r testowy, wykorzystuj\u0105c 80% danych jako zbi\u00f3r ucz\u0105cy, a pozosta\u0142e 20% danych<\/span> jako zbi\u00f3r testowy. Nast\u0119pnie budujemy model korzystaj\u0105c ze<\/span> zbioru ucz\u0105cego. Nast\u0119pnie u\u017cywamy modelu do przewidywania zbioru testowego. Na koniec mierzymy jako\u015b\u0107 modelu<\/span> za pomoc\u0105 kwadratu R, RMSE i MAE.<\/span><\/p>\n #load dplyr<\/em> library used for data manipulation\n<\/span>library(dplyr)\n\n#load caret<\/em> library used for partitioning data into training and test set\n<\/span>library(caret)\n\n#make this example reproducible\n<\/span>set.seed(0)\n\n#define the dataset\n<\/span>data <- mtcars[, c(\"mpg\", \"disp\", \"hp\", \"drat\")]\n\n#split the dataset into a training set (80%) and test set (20%).\n<\/span>training_obs <- data$mpg %>% createDataPartition(p = 0.8, list = FALSE)\n\ntrain <- data[training_obs, ]\ntest <- data[-training_obs, ]\n\n# Build the linear regression model on the training set\n<\/span>model <- lm(mpg ~ ., data = train)\n\n# Use the model to make predictions on the test set\n<\/span>predictions <- model %>% predict(test)\n\n#Examine R-squared, RMSE, and MAE of predictions\n<\/span>data.frame(R_squared = R2(predictions, test$mpg),\n RMSE = RMSE(predictions, test$mpg),\n MAE = MAE(predictions, test$mpg))\n\n#R_squared RMSE MAE\n#1 0.9213066 1.876038 1.66614\n<\/strong><\/pre>\n Por\u00f3wnuj\u0105c r\u00f3\u017cne modele, preferowanym modelem jest ten, kt\u00f3ry daje najni\u017cszy RMSE w zestawie testowym.<\/span><\/p>\n Zalety i wady tego podej\u015bcia<\/strong><\/span><\/h3>\n Zalet\u0105 podej\u015bcia opartego na zbiorze walidacyjnym jest to, \u017ce jest proste i wydajne obliczeniowo. Wad\u0105<\/span> jest to, \u017ce model jest budowany przy u\u017cyciu tylko cz\u0119\u015bci wszystkich danych. Je\u015bli dane, kt\u00f3re pominiemy<\/span> w zbiorze ucz\u0105cym, zawieraj\u0105 interesuj\u0105ce lub warto\u015bciowe informacje, model nie we\u017amie ich pod uwag\u0119.<\/span><\/p>\n Metoda k-krotnej walidacji krzy\u017cowej<\/strong><\/span><\/h2>\n Metoda k-krotnej walidacji krzy\u017cowej<\/strong> dzia\u0142a w nast\u0119puj\u0105cy spos\u00f3b:<\/span><\/p>\n 1.<\/strong> Losowo podziel dane na k \u201ecz\u0119\u015bci\u201d lub podzbior\u00f3w (na przyk\u0142ad 5 lub 10 podzbior\u00f3w).<\/span>
2.<\/strong> Wytrenuj model na wszystkich danych, pomijaj\u0105c tylko jeden podzbi\u00f3r.<\/span>
3.<\/strong> Wykorzystaj model do przewidywania danych z pomini\u0119tego podzbioru.<\/span>
4.<\/strong> Powtarzaj ten proces, a\u017c ka\u017cdy z k podzbior\u00f3w zostanie u\u017cyty jako zbi\u00f3r testowy.<\/span>
5<\/strong> . Zmierz jako\u015b\u0107 modelu, u\u015bredniaj\u0105c k b\u0142\u0119d\u00f3w testu. To jest znane<\/span>
jako b\u0142\u0105d weryfikacji krzy\u017cowej.<\/span><\/p>\n Przyk\u0142ad<\/span><\/strong><\/h3>\n W tym przyk\u0142adzie najpierw dzielimy dane na<\/span> 5 podzbior\u00f3w. Nast\u0119pnie dopasowujemy model, wykorzystuj\u0105c wszystkie dane opr\u00f3cz podzbioru. Nast\u0119pnie u\u017cywamy modelu do przewidywania<\/span> pomini\u0119tego podzbioru i rejestrowania b\u0142\u0119du testu (stosuj\u0105c R-kwadrat, RMSE i MAE). Powtarzamy<\/span> ten proces, a\u017c ka\u017cdy podzbi\u00f3r zostanie u\u017cyty jako zbi\u00f3r testowy. Nast\u0119pnie po prostu obliczamy \u015bredni\u0105 z 5<\/span> b\u0142\u0119d\u00f3w testowych.<\/span><\/p>\n #load dplyr<\/em> library used for data manipulation\n<\/span>library(dplyr)\n\n#load caret<\/em> library used for partitioning data into training and test set\n<\/span>library(caret)\n\n#make this example reproducible\n<\/span>set.seed(0)\n\n#define the dataset\n<\/span>data <- mtcars[, c(\"mpg\", \"disp\", \"hp\", \"drat\")]\n\n#define the number of subsets (or \"folds\") to use\n<\/span>train_control <- trainControl(method = \"cv\", number = 5)\n\n#train the model\n<\/span>model <- train(mpg ~ ., data = data, method = \"lm\", trControl = train_control)\n\n#Summarize the results\n<\/span>print(model)\n\n#Linear Regression \n#\n#32 samples\n#3 predictor\n#\n#No pre-processing\n#Resampling: Cross-Validated (5 fold) \n#Summary of sample sizes: 26, 25, 26, 25, 26 \n#Resampling results:\n#\n# RMSE Rsquared MAE \n#3.095501 0.7661981 2.467427\n#\n#Tuning parameter 'intercept' was held constant at a value of TRUE\n<\/strong><\/pre>\n Zalety i wady tego podej\u015bcia<\/span><\/strong><\/h3>\n Zalet\u0105 podej\u015bcia k-krotnej walidacji krzy\u017cowej w por\u00f3wnaniu z podej\u015bciem zestawu walidacyjnego jest to, \u017ce buduje model kilka razy,<\/span> u\u017cywaj\u0105c za ka\u017cdym razem r\u00f3\u017cnych fragment\u00f3w danych, wi\u0119c nie musimy ryzykowa\u0107 pomini\u0119cia wa\u017cnych danych podczas budowania<\/span> modelu.<\/span><\/p>\n Subiektywn\u0105 cz\u0119\u015bci\u0105 tego podej\u015bcia jest wyb\u00f3r warto\u015bci k, czyli liczby podzbior\u00f3w,<\/span> na kt\u00f3re nale\u017cy podzieli\u0107 dane. Og\u00f3lnie rzecz bior\u0105c, ni\u017csze warto\u015bci k prowadz\u0105 do wi\u0119kszego obci\u0105\u017cenia, ale mniejszej zmienno\u015bci, podczas gdy wy\u017csze warto\u015bci k<\/span> prowadz\u0105 do mniejszego obci\u0105\u017cenia, ale wi\u0119kszej zmienno\u015bci.<\/span><\/p>\n W praktyce k jest zwykle wybierane jako r\u00f3wne 5 lub 10, poniewa\u017c taka liczba<\/span> podzbior\u00f3w pozwala jednocze\u015bnie unikn\u0105\u0107 zbyt du\u017cego b\u0142\u0119du systematycznego i zbyt du\u017cej zmienno\u015bci.<\/span><\/p>\n Podej\u015bcie typu Leave One Out Cross-Validation (LOOCV).<\/strong><\/span><\/h2>\n Podej\u015bcie LOOCV<\/strong> dzia\u0142a w nast\u0119puj\u0105cy spos\u00f3b:<\/span><\/p>\n 1.<\/strong> Zbuduj model, wykorzystuj\u0105c wszystkie obserwacje ze zbioru danych z wyj\u0105tkiem jednej.<\/span>
2.<\/strong> Wykorzystaj model do przewidzenia warto\u015bci brakuj\u0105cej obserwacji. Zapisz b\u0142\u0105d podczas testowania tej prognozy.<\/span>
3.<\/strong> Powt\u00f3rz ten proces dla ka\u017cdej obserwacji w zbiorze danych.<\/span>
4.<\/strong> Zmierz jako\u015b\u0107 modelu poprzez u\u015brednienie wszystkich b\u0142\u0119d\u00f3w predykcji.<\/span><\/p>\n Przyk\u0142ad<\/span><\/strong><\/h3>\n Poni\u017cszy przyk\u0142ad ilustruje spos\u00f3b u\u017cycia perform LOOCV dla tego samego zbioru danych, co w poprzednich przyk\u0142adach:<\/span><\/p>\n #load dplyr<\/em> library used for data manipulation\n<\/span>library(dplyr)\n\n#load caret<\/em> library used for partitioning data into training and test set\n<\/span>library(caret)\n\n#make this example reproducible\n<\/span>set.seed(0)\n\n#define the dataset\n<\/span>data <- mtcars[, c(\"mpg\", \"disp\", \"hp\", \"drat\")]\n\n#specify that we want to use LOOCV\n<\/span>train_control <- trainControl( method = \"LOOCV\"<\/span> )\n\n#train the model\n<\/span>model <- train(mpg ~ ., data = data, method = \"lm\", trControl = train_control)\n\n#summarize the results\n<\/span>print(model)\n\n#Linear Regression \n#\n#32 samples\n#3 predictor\n#\n#No pre-processing\n#Resampling: Leave-One-Out Cross-Validation \n#Summary of sample sizes: 31, 31, 31, 31, 31, 31, ... \n#Resampling results:\n#\n# RMSE Rsquared MAE \n#3.168763 0.7170704 2.503544\n#\n#Tuning parameter 'intercept' was held constant at a value of TRUE\n<\/strong><\/pre>\n Zalety i wady tego podej\u015bcia<\/strong><\/span><\/h3>\n Zalet\u0105 LOOCV jest to, \u017ce wykorzystujemy wszystkie punkty danych, co og\u00f3lnie zmniejsza potencjalne obci\u0105\u017cenie. Poniewa\u017c jednak<\/span> u\u017cywamy modelu do przewidywania warto\u015bci ka\u017cdej obserwacji, mo\u017ce to prowadzi\u0107 do wi\u0119kszej zmienno\u015bci<\/span> b\u0142\u0119du przewidywania.<\/span><\/p>\n Inn\u0105 wad\u0105 tego podej\u015bcia jest to, \u017ce musi pasowa\u0107 do tak du\u017cej liczby modeli, \u017ce mo\u017ce sta\u0107 si\u0119 nieefektywne i wymagaj\u0105ce obliczeniowo.<\/span><\/p>\n Metoda powtarzanej k-krotnej walidacji krzy\u017cowej<\/span><\/strong><\/h2>\n Mo\u017cemy przeprowadzi\u0107 wielokrotn\u0105 k-krotn\u0105 weryfikacj\u0119 krzy\u017cow\u0105,<\/strong> po prostu wielokrotn\u0105 k-krotn\u0105 walidacj\u0119 krzy\u017cow\u0105. B\u0142\u0105d ko\u0144cowy to \u015bredni b\u0142\u0105d liczby<\/span> powt\u00f3rze\u0144.<\/span><\/p>\n Poni\u017cszy przyk\u0142ad przeprowadza 5-krotn\u0105 weryfikacj\u0119 krzy\u017cow\u0105, powt\u00f3rzon\u0105 4 razy:<\/span><\/p>\n #load dplyr<\/em> library used for data manipulation\n<\/span>library(dplyr)\n\n#load caret<\/em> library used for partitioning data into training and test set\n<\/span>library(caret)\n\n#make this example reproducible\n<\/span>set.seed(0)\n\n#define the dataset\n<\/span>data <- mtcars[, c(\"mpg\", \"disp\", \"hp\", \"drat\")]\n\n#define the number of subsets to use and number of times to repeat k-fold CV\n<\/span>train_control <- trainControl(method = \"repeatedcv\", number = 5, repeats = 4<\/span> )\n\n#train the model\n<\/span>model <- train(mpg ~ ., data = data, method = \"lm\", trControl = train_control)\n\n#summarize the results\n<\/span>print(model)\n\n#Linear Regression \n#\n#32 samples\n#3 predictor\n#\n#No pre-processing\n#Resampling: Cross-Validated (5 fold, repeated 4 times) \n#Summary of sample sizes: 26, 25, 26, 25, 26, 25, ... \n#Resampling results:\n#\n# RMSE Rsquared MAE \n#3.176339 0.7909337 2.559131\n#\n#Tuning parameter 'intercept' was held constant at a value of TRUE\n<\/strong><\/pre>\n Zalety i wady tego podej\u015bcia<\/strong><\/span><\/h3>\n Zalet\u0105 podej\u015bcia polegaj\u0105cego na powtarzanej k-krotnej walidacji krzy\u017cowej jest to, \u017ce przy ka\u017cdym powt\u00f3rzeniu dane zostan\u0105 podzielone na nieco inne podzbiory, co powinno da\u0107 jeszcze bardziej obiektywne oszacowanie b\u0142\u0119du przewidywania modelu. Wad\u0105 tego podej\u015bcia jest to, \u017ce mo\u017ce by\u0107 wymagaj\u0105ce obliczeniowo, poniewa\u017c musimy kilkakrotnie powtarza\u0107 proces dopasowywania modelu.<\/span><\/p>\n