<\/p>\n
In statistica, spesso costruiamo modelli per due motivi:<\/span><\/p>\n La convalida incrociata<\/strong> \u00e8 utile per stimare quanto bene un modello sia in grado di prevedere le osservazioni future.<\/span><\/p>\n Ad esempio, possiamo costruire un modello di regressione lineare multipla<\/span> che utilizza et\u00e0<\/em> e reddito<\/em> come variabili predittive e lo stato predefinito come<\/em> variabile di risposta.<\/span> In questo caso, potremmo voler adattare il modello a un set di dati e quindi utilizzare tale modello per prevedere, in base al<\/span> reddito e all’et\u00e0 del nuovo richiedente, la probabilit\u00e0 che non riesca a onorare il prestito.<\/span><\/p>\n Per determinare se il modello ha una forte capacit\u00e0 predittiva, dobbiamo usarlo per fare previsioni su<\/span> dati mai visti prima. Questo ci permetter\u00e0 di stimare l\u2019 errore di previsione<\/strong> del modello.<\/span><\/p>\n La convalida incrociata<\/strong> si riferisce a diversi modi in cui possiamo stimare l’errore di previsione.<\/span> L’approccio generale alla<\/span> convalida incrociata \u00e8:<\/span><\/p>\n 1.<\/strong> Mettere da parte un certo numero di osservazioni nel set di dati, in genere il 15-25% di tutte le osservazioni.<\/span> Quando utilizziamo il modello adattato per fare previsioni su nuove osservazioni, possiamo utilizzare diversi parametri per misurare la qualit\u00e0 del modello, tra cui:<\/span><\/p>\n R quadrato multiplo:<\/strong> misura la forza della relazione lineare tra le variabili predittive e la<\/span> variabile di risposta. Un multiplo R quadrato di 1 indica una relazione lineare perfetta mentre un<\/span> multiplo R quadrato di 0 indica alcuna relazione lineare. Maggiore \u00e8 il multiplo R quadrato, maggiore \u00e8 la probabilit\u00e0 che le variabili predittive prevedano la variabile di risposta.<\/span><\/p>\n Errore quadratico medio (RMSE):<\/strong> misura l’errore di previsione medio commesso dal modello quando prevede il valore<\/span> di una nuova osservazione. Questa \u00e8 la distanza media tra il valore reale di un’osservazione e il valore previsto dal modello.<\/span> Valori pi\u00f9 bassi<\/span> per RMSE indicano un migliore adattamento del modello.<\/span><\/p>\n Errore assoluto medio (MAE):<\/strong> questa \u00e8 la differenza media assoluta tra il valore reale di un’osservazione e il valore previsto dal modello.<\/span> Questa metrica \u00e8 generalmente meno sensibile ai valori anomali rispetto a RMSE. Valori pi\u00f9 bassi per MAE indicano un migliore adattamento del modello.<\/span><\/p>\n Spiegheremo quindi come implementare le seguenti tecniche di convalida incrociata in R:<\/span><\/p>\n 1.<\/strong> Approccio dell’insieme di validazione<\/span> Per illustrare come utilizzare queste diverse tecniche, utilizzeremo un sottoinsieme del set di dati R integrato in mtcars<\/em> :<\/span><\/p>\n Costruiremo un modello di regressione lineare multipla utilizzando disp<\/em> , hp<\/em> e drat<\/em> come variabili predittive e mpg<\/em><\/span> come variabile di risposta.<\/span><\/p>\n L\u2019 approccio del set di validazione<\/strong> funziona come segue:<\/span><\/p>\n 1.<\/strong> Dividere i dati in due insiemi: un insieme viene utilizzato per addestrare il modello (ovvero stimare i parametri del modello)<\/span> e l’altro insieme viene utilizzato per testare il modello. In genere, il set di addestramento viene generato selezionando casualmente<\/span> il 70-80% dei dati e il restante 20-30% dei dati viene utilizzato come set di test.<\/span><\/p>\n 2.<\/strong> Crea il modello utilizzando il set di dati di training.<\/span> L’esempio seguente utilizza il set di dati definito in precedenza. Per prima cosa dividiamo i dati in<\/span> Quando si confrontano modelli diversi, quello che produce il RMSE pi\u00f9 basso sul set di test \u00e8 il modello preferito.<\/span><\/p>\n Il vantaggio dell\u2019approccio del set di validazione \u00e8 che \u00e8 semplice ed efficiente dal punto di vista computazionale. Lo svantaggio<\/span> \u00e8 che il modello viene costruito utilizzando solo una parte dei dati totali. Se i dati che lasciamo<\/span> fuori dal training set contengono informazioni interessanti o preziose, il modello non ne terr\u00e0 conto.<\/span><\/p>\n L’ approccio di convalida incrociata k-fold<\/strong> funziona come segue:<\/span><\/p>\n 1.<\/strong> Dividere casualmente i dati in k \u201cpieghe\u201d o sottoinsiemi (ad esempio, 5 o 10 sottoinsiemi).<\/span> In questo esempio, dividiamo prima i dati in<\/span> 5 sottoinsiemi. Quindi adattiamo il modello utilizzando tutti i dati tranne un sottoinsieme. Quindi utilizziamo il modello per fare<\/span> previsioni sul sottoinsieme che \u00e8 stato escluso e registriamo l’errore del test (utilizzando R quadrato, RMSE e MAE). Ripetiamo<\/span> questo processo finch\u00e9 ciascun sottoinsieme non \u00e8 stato utilizzato come set di test. Quindi calcoliamo semplicemente la media dei 5<\/span> errori del test.<\/span><\/p>\n Il vantaggio dell’approccio di convalida incrociata k-fold rispetto all’approccio del set di convalida \u00e8 che costruisce il modello pi\u00f9 volte<\/span> utilizzando pezzi di dati diversi ogni volta, quindi non dobbiamo rischiare di omettere dati importanti durante la costruzione<\/span> del modello.<\/span><\/p>\n La parte soggettiva di questo approccio \u00e8 scegliere il valore da utilizzare per k, ovvero il numero di sottoinsiemi in cui dividere<\/span> i dati. In generale, valori k pi\u00f9 bassi portano a una distorsione pi\u00f9 elevata ma a una variabilit\u00e0 inferiore, mentre valori k pi\u00f9 alti<\/span> portano a una distorsione inferiore ma a una variabilit\u00e0 pi\u00f9 elevata.<\/span><\/p>\n In pratica, k viene generalmente scelto pari a 5 o 10, perch\u00e9 questo numero di<\/span> sottoinsiemi tende ad evitare contemporaneamente troppa distorsione e troppa variabilit\u00e0.<\/span><\/p>\n L\u2019 approccio LOOCV<\/strong> funziona come segue:<\/span><\/p>\n 1.<\/strong> Costruisci il modello utilizzando tutte le osservazioni tranne una nel set di dati.<\/span> L’esempio seguente dimostra come utilizzare perform LOOCV per lo stesso set di dati utilizzato negli esempi precedenti:<\/span><\/p>\n Il vantaggio di LOOCV \u00e8 che utilizziamo tutti i punti dati, il che generalmente riduce potenziali distorsioni. Tuttavia, poich\u00e9<\/span> utilizziamo il modello per prevedere il valore di ciascuna osservazione, ci\u00f2 potrebbe portare a una maggiore variabilit\u00e0 nell\u2019errore di<\/span> previsione.<\/span><\/p>\n Un altro svantaggio di questo approccio \u00e8 che deve adattarsi a un numero cos\u00ec elevato di modelli che pu\u00f2 diventare inefficiente e computazionalmente pesante.<\/span><\/p>\n Possiamo eseguire ripetute validazioni incrociate k-fold<\/strong> semplicemente eseguendo la convalida incrociata k-fold pi\u00f9 volte. L’errore finale \u00e8 l’errore medio del<\/span> numero di ripetizioni.<\/span><\/p>\n L’esempio seguente esegue una convalida incrociata 5 volte, ripetuta 4 volte:<\/span><\/p>\n Il vantaggio dell’approccio di validazione incrociata ripetuta k-fold \u00e8 che per ogni ripetizione i dati verranno suddivisi in sottoinsiemi leggermente diversi, il che dovrebbe fornire una stima ancora pi\u00f9 imparziale dell’errore di previsione del modello. Lo svantaggio di questo approccio \u00e8 che pu\u00f2 essere impegnativo dal punto di vista computazionale poich\u00e9 dobbiamo ripetere il processo di adattamento del modello pi\u00f9 volte.<\/span><\/p>\n\n
Utilizzo della convalida incrociata per stimare l’errore di previsione<\/span><\/strong><\/h2>\n
2.<\/strong> Adattare (o \u201caddestrare\u201d) il modello alle osservazioni che conserviamo nel set di dati.<\/span>
3.<\/strong> Testare la capacit\u00e0 del modello di fare previsioni sulle osservazioni che non abbiamo utilizzato per addestrare il modello.<\/span><\/p>\n Misurare la qualit\u00e0 di un modello<\/strong><\/span><\/h2>\n
Implementazione di quattro diverse tecniche di convalida incrociata in R<\/strong><\/span><\/h2>\n
2.<\/strong> validazione incrociata k-fold<\/span>
3.<\/strong> Lasciare da parte la convalida incrociata<\/span>
4.<\/strong> Convalida incrociata k-fold ripetuta<\/span><\/p>\n #define dataset\n<\/span>data <- mtcars[, c(\"mpg\", \"disp\", \"hp\", \"drat\")]\n\n#view first six rows of new data\n<\/span>head(data)\n\n# mpg disp hp drat\n#Mazda RX4 21.0 160 110 3.90\n#Mazda RX4 Wag 21.0 160 110 3.90\n#Datsun 710 22.8 108 93 3.85\n#Hornet 4 Drive 21.4 258 110 3.08\n#Hornet Sportabout 18.7 360 175 3.15\n#Valiant 18.1 225 105 2.76\n<\/strong><\/pre>\n Approccio dell’insieme di validazione<\/span><\/strong><\/h2>\n
3.<\/strong> Utilizzare il modello per fare previsioni sui dati del set di test.<\/span>
4.<\/strong> Misurare la qualit\u00e0 del modello utilizzando parametri come R-squared, RMSE e MAE.<\/span><\/p>\n Esempio:<\/span><\/strong><\/h3>\n
un training set e un test set, utilizzando l’80% dei dati come training set e il restante 20% dei dati<\/span> come test set. Successivamente, costruiamo il modello utilizzando il<\/span> set di training. Quindi utilizziamo il modello per fare previsioni sul set di test. Infine, misuriamo la qualit\u00e0 del<\/span> modello utilizzando R-squared, RMSE e MAE.<\/span><\/p>\n #load dplyr<\/em> library used for data manipulation\n<\/span>library(dplyr)\n\n#load caret<\/em> library used for partitioning data into training and test set\n<\/span>library(caret)\n\n#make this example reproducible\n<\/span>set.seed(0)\n\n#define the dataset\n<\/span>data <- mtcars[, c(\"mpg\", \"disp\", \"hp\", \"drat\")]\n\n#split the dataset into a training set (80%) and test set (20%).\n<\/span>training_obs <- data$mpg %>% createDataPartition(p = 0.8, list = FALSE)\n\ntrain <- data[training_obs, ]\ntest <- data[-training_obs, ]\n\n# Build the linear regression model on the training set\n<\/span>model <- lm(mpg ~ ., data = train)\n\n# Use the model to make predictions on the test set\n<\/span>predictions <- model %>% predict(test)\n\n#Examine R-squared, RMSE, and MAE of predictions\n<\/span>data.frame(R_squared = R2(predictions, test$mpg),\n RMSE = RMSE(predictions, test$mpg),\n MAE = MAE(predictions, test$mpg))\n\n#R_squared RMSE MAE\n#1 0.9213066 1.876038 1.66614\n<\/strong><\/pre>\n Vantaggi e svantaggi di questo approccio<\/strong><\/span><\/h3>\n
Approccio di convalida incrociata k-fold<\/strong><\/span><\/h2>\n
2.<\/strong> Addestrare il modello su tutti i dati, tralasciando solo un sottoinsieme.<\/span>
3.<\/strong> Utilizzare il modello per fare previsioni sui dati del sottoinsieme che \u00e8 stato escluso.<\/span>
4.<\/strong> Ripetere questo processo finch\u00e9 ciascuno dei k sottoinsiemi non \u00e8 stato utilizzato come set di test.<\/span>
5<\/strong> . Misurare la qualit\u00e0 del modello facendo la media dei k errori del test. Questo \u00e8 noto<\/span>
come errore di convalida incrociata.<\/span><\/p>\n Esempio<\/span><\/strong><\/h3>\n
#load dplyr<\/em> library used for data manipulation\n<\/span>library(dplyr)\n\n#load caret<\/em> library used for partitioning data into training and test set\n<\/span>library(caret)\n\n#make this example reproducible\n<\/span>set.seed(0)\n\n#define the dataset\n<\/span>data <- mtcars[, c(\"mpg\", \"disp\", \"hp\", \"drat\")]\n\n#define the number of subsets (or \"folds\") to use\n<\/span>train_control <- trainControl(method = \"cv\", number = 5)\n\n#train the model\n<\/span>model <- train(mpg ~ ., data = data, method = \"lm\", trControl = train_control)\n\n#Summarize the results\n<\/span>print(model)\n\n#Linear Regression \n#\n#32 samples\n#3 predictor\n#\n#No pre-processing\n#Resampling: Cross-Validated (5 fold) \n#Summary of sample sizes: 26, 25, 26, 25, 26 \n#Resampling results:\n#\n# RMSE Rsquared MAE \n#3.095501 0.7661981 2.467427\n#\n#Tuning parameter 'intercept' was held constant at a value of TRUE\n<\/strong><\/pre>\n Vantaggi e svantaggi di questo approccio<\/span><\/strong><\/h3>\n
Approccio LOOCV (Leave One Out Cross-Validation).<\/strong><\/span><\/h2>\n
2.<\/strong> Utilizzare il modello per prevedere il valore dell’osservazione mancante. Registra l’errore nel testare questa previsione.<\/span>
3.<\/strong> Ripetere questo processo per ciascuna osservazione nel set di dati.<\/span>
4.<\/strong> Misurare la qualit\u00e0 del modello calcolando la media di tutti gli errori di previsione.<\/span><\/p>\n Esempio<\/span><\/strong><\/h3>\n
#load dplyr<\/em> library used for data manipulation\n<\/span>library(dplyr)\n\n#load caret<\/em> library used for partitioning data into training and test set\n<\/span>library(caret)\n\n#make this example reproducible\n<\/span>set.seed(0)\n\n#define the dataset\n<\/span>data <- mtcars[, c(\"mpg\", \"disp\", \"hp\", \"drat\")]\n\n#specify that we want to use LOOCV\n<\/span>train_control <- trainControl( method = \"LOOCV\"<\/span> )\n\n#train the model\n<\/span>model <- train(mpg ~ ., data = data, method = \"lm\", trControl = train_control)\n\n#summarize the results\n<\/span>print(model)\n\n#Linear Regression \n#\n#32 samples\n#3 predictor\n#\n#No pre-processing\n#Resampling: Leave-One-Out Cross-Validation \n#Summary of sample sizes: 31, 31, 31, 31, 31, 31, ... \n#Resampling results:\n#\n# RMSE Rsquared MAE \n#3.168763 0.7170704 2.503544\n#\n#Tuning parameter 'intercept' was held constant at a value of TRUE\n<\/strong><\/pre>\n Vantaggi e svantaggi di questo approccio<\/strong><\/span><\/h3>\n
Approccio di convalida incrociata ripetuto k-fold<\/span><\/strong><\/h2>\n
#load dplyr<\/em> library used for data manipulation\n<\/span>library(dplyr)\n\n#load caret<\/em> library used for partitioning data into training and test set\n<\/span>library(caret)\n\n#make this example reproducible\n<\/span>set.seed(0)\n\n#define the dataset\n<\/span>data <- mtcars[, c(\"mpg\", \"disp\", \"hp\", \"drat\")]\n\n#define the number of subsets to use and number of times to repeat k-fold CV\n<\/span>train_control <- trainControl(method = \"repeatedcv\", number = 5, repeats = 4<\/span> )\n\n#train the model\n<\/span>model <- train(mpg ~ ., data = data, method = \"lm\", trControl = train_control)\n\n#summarize the results\n<\/span>print(model)\n\n#Linear Regression \n#\n#32 samples\n#3 predictor\n#\n#No pre-processing\n#Resampling: Cross-Validated (5 fold, repeated 4 times) \n#Summary of sample sizes: 26, 25, 26, 25, 26, 25, ... \n#Resampling results:\n#\n# RMSE Rsquared MAE \n#3.176339 0.7909337 2.559131\n#\n#Tuning parameter 'intercept' was held constant at a value of TRUE\n<\/strong><\/pre>\n Vantaggi e svantaggi di questo approccio<\/strong><\/span><\/h3>\n