<\/p>\n
Per valutare quanto bene un modello sia in grado di adattarsi a un set di dati, dobbiamo analizzare le sue prestazioni su osservazioni mai viste prima.<\/span><\/p>\n Uno dei modi pi\u00f9 comuni per raggiungere questo obiettivo \u00e8 utilizzare la convalida incrociata k-fold<\/a> , che utilizza il seguente approccio:<\/span><\/p>\n 1.<\/strong> Dividere casualmente un set di dati in k<\/em> gruppi, o “pieghe”, di dimensioni approssimativamente uguali.<\/span><\/p>\n 2.<\/strong> Scegli una delle pieghe come set di ritenuta. Adatta il modello alle restanti pieghe k-1. Calcolare il test MSE sulle osservazioni nello strato che \u00e8 stato tensionato.<\/span><\/p>\n 3.<\/strong> Ripetere questo processo k<\/em> volte, ogni volta utilizzando un insieme diverso come insieme di esclusione.<\/span><\/p>\n 4.<\/strong> Calcolare l’MSE complessivo del test come media dei k<\/em> MSE del test.<\/span><\/p>\n Il modo pi\u00f9 semplice per eseguire la convalida incrociata k-fold in R \u00e8 utilizzare le funzioni trainControl()<\/strong> e train()<\/strong> dalla libreria caret<\/strong> in R.<\/span><\/p>\n La funzione trainControl()<\/strong> viene utilizzata per specificare i parametri di training (ad esempio il tipo di convalida incrociata da utilizzare, il numero di pieghe da utilizzare, ecc.) e la funzione train()<\/strong> viene utilizzata per adattare effettivamente il modello ai dati. .<\/span><\/p>\n L’esempio seguente mostra come utilizzare nella pratica le funzioni trainControl()<\/strong> e train()<\/strong> .<\/span><\/p>\n Supponiamo di avere il seguente set di dati in R:<\/span><\/p>\n Supponiamo ora di utilizzare la funzione lm()<\/a> per adattare un modello di regressione lineare multipla<\/a> a questo set di dati, utilizzando x1<\/strong> e x2<\/strong> come variabili predittive e y<\/strong> come variabile di risposta:<\/span><\/p>\n Utilizzando i coefficienti nell’output del modello, possiamo scrivere il modello di regressione adattato:<\/span><\/p>\n y = 21,2672 + 0,7803*(x 1<\/sub> ) \u2013 1,1253(x 2<\/sub> )<\/strong><\/span><\/p>\n Per avere un’idea del rendimento di questo modello su osservazioni<\/a> invisibili, possiamo utilizzare la convalida incrociata k-fold.<\/span><\/p>\n Il codice seguente mostra come utilizzare la funzione trainControl()<\/strong> del pacchetto caret<\/strong> per specificare la convalida incrociata k-fold ( Method=”cv”<\/strong> ) che utilizza 5 pieghe ( number=5<\/strong> ).<\/span><\/p>\n Passiamo quindi questa funzione trainControl()<\/strong> alla funzione train()<\/strong> per eseguire effettivamente la convalida incrociata k-fold:<\/span><\/p>\n Dal risultato possiamo vedere che il modello \u00e8 stato adattato 5<\/strong> volte utilizzando ogni volta una dimensione del campione di 8<\/strong> osservazioni.<\/span><\/p>\n Ogni volta, il modello \u00e8 stato poi utilizzato per prevedere i valori delle 2<\/strong> osservazioni conservate e ogni volta sono state calcolate le seguenti metriche:<\/span><\/p>\n Nel risultato viene visualizzata la media dei valori RMSE e MAE per i cinque componenti:<\/span><\/p>\n Queste metriche ci danno un’idea delle prestazioni del modello sui nuovi dati.<\/span><\/p>\n In pratica, in genere adattiamo diversi modelli diversi e confrontiamo questi parametri per determinare quale modello offre le migliori prestazioni sui dati invisibili.<\/span><\/p>\n Ad esempio, potremmo adattare un modello di regressione polinomiale<\/a> ed eseguire una convalida incrociata K-fold su di esso per vedere come le metriche RMSE e MAE si confrontano con il modello di regressione lineare multipla.<\/span><\/p>\n Nota n. 1:<\/strong> in questo esempio, scegliamo di utilizzare k=5 pieghe, ma puoi scegliere qualsiasi numero di pieghe desideri. In pratica, in genere scegliamo tra 5 e 10 strati, poich\u00e9 questo risulta essere il numero ottimale di strati che produce tassi di errore di prova affidabili.<\/span><\/p>\n Nota n.2<\/strong> : la funzione trainControl()<\/strong> accetta molti potenziali argomenti. Puoi trovare la documentazione completa per questa funzione qui<\/a> .<\/span><\/p>\n Le esercitazioni seguenti forniscono informazioni aggiuntive sui modelli di training:<\/span><\/p>\n Introduzione alla convalida incrociata K-Fold<\/a> Per valutare quanto bene un modello sia in grado di adattarsi a un set di dati, dobbiamo analizzare le sue prestazioni su osservazioni mai viste prima. Uno dei modi pi\u00f9 comuni per raggiungere questo obiettivo \u00e8 utilizzare la convalida incrociata k-fold , che utilizza il seguente approccio: 1. Dividere casualmente un set di dati in […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"yoast_head":"\n Esempio: come utilizzare trainControl() in R<\/strong><\/span><\/h2>\n
#create data frame<\/span>\ndf <- data.frame(y=c(6, 8, 12, 14, 14, 15, 17, 22, 24, 23),\n x1=c(2, 5, 4, 3, 4, 6, 7, 5, 8, 9),\n x2=c(14, 12, 12, 13, 7, 8, 7, 4, 6, 5))\n\n#view data frame\n<\/span>df\n\ny x1 x2\n6 2 14\n8 5 12\n12 4 12\n14 3 13\n14 4 7\n15 6 8\n17 7 7\n22 5 4\n24 8 6\n23 9 5\n<\/strong><\/pre>\n #fit multiple linear regression model to data<\/span>\nfit <- lm(y ~ x1 + x2, data=df)\n\n#view model summary\n<\/span>summary(fit)\n\nCall:\nlm(formula = y ~ x1 + x2, data = df)\n\nResiduals:\n Min 1Q Median 3Q Max \n-3.6650 -1.9228 -0.3684 1.2783 5.0208 \n\nCoefficients:\n Estimate Std. Error t value Pr(>|t|) \n(Intercept) 21.2672 6.9927 3.041 0.0188 *\nx1 0.7803 0.6942 1.124 0.2981 \nx2 -1.1253 0.4251 -2.647 0.0331 *\n---\nSignificant. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1\n\nResidual standard error: 3.093 on 7 degrees of freedom\nMultiple R-squared: 0.801, Adjusted R-squared: 0.7441 \nF-statistic: 14.09 on 2 and 7 DF, p-value: 0.003516\n<\/strong><\/pre>\n library<\/span> (caret)<\/span>\n\n#specify the cross-validation method<\/span>\nctrl <- trainControl(method = \" cv<\/span> \", number = 5<\/span> )\n\n#fit a regression model and use k-fold CV to evaluate performance\n<\/span>model <- train(y ~ x1 + x2, data = df, method = \" lm<\/span> \", trControl = ctrl)\n\n#view summary of k-fold CV \n<\/span>print<\/span> (model)\n\nLinear Regression \n\n10 samples\n 2 predictors\n\nNo pre-processing\nResampling: Cross-Validated (5 fold) \nSummary of sample sizes: 8, 8, 8, 8, 8 \nResampling results:\n\n RMSE Rsquared MAE \n 3.612302 1 3.232153\n\nTuning parameter 'intercept' was held constant at a value of TRUE\n<\/strong><\/pre>\n\n
\n
Risorse addizionali<\/strong><\/span><\/h2>\n
Introduzione alla convalida incrociata Leave-One-Out<\/a>
Cos’\u00e8 l’overfitting nell’apprendimento automatico?<\/a><\/span><\/p>\n","protected":false},"excerpt":{"rendered":"