Ad esempio, supponiamo di voler creare un modello di regressione<\/a> che utilizzi la variabile predittrice ore trascorse a studiare<\/em> per prevedere il punteggio ACT<\/em> della variabile di risposta per gli studenti delle scuole superiori.<\/span><\/p>\n Per costruire questo modello, raccoglieremo dati sulle ore trascorse a studiare e il corrispondente punteggio ACT per centinaia di studenti in un determinato distretto scolastico.<\/span><\/p>\n Utilizzeremo quindi questi dati per addestrare<\/em> un modello in grado di fare previsioni sul punteggio che un determinato studente ricever\u00e0 in base al numero totale di ore studiate.<\/span><\/p>\n Per valutare l’utilit\u00e0 del modello, possiamo misurare quanto bene le previsioni del modello corrispondono ai dati osservati. Uno dei parametri pi\u00f9 comunemente utilizzati per farlo \u00e8 l\u2019errore quadratico medio (MSE), che viene calcolato come segue:<\/span><\/p>\n MSE = (1\/n)*\u03a3(y i<\/sub> \u2013 f(x i<\/sub> )) 2<\/sup><\/span><\/p>\n Oro:<\/span><\/p>\n Pi\u00f9 le previsioni del modello si avvicinano alle osservazioni, pi\u00f9 basso sar\u00e0 il MSE.<\/span><\/p>\n Tuttavia, uno dei pi\u00f9 grandi errori commessi nell’apprendimento automatico \u00e8 l’ottimizzazione dei modelli per ridurre l’MSE di addestramento<\/strong> , ovvero la corrispondenza tra le previsioni del modello e i dati utilizzati per addestrare il modello.<\/span><\/p>\n Quando un modello si concentra troppo sulla riduzione dell’MSE di addestramento, spesso lavora troppo duramente per trovare modelli nei dati di addestramento che sono semplicemente causati dal caso. Quindi, quando il modello viene applicato a dati invisibili, le sue prestazioni sono scarse.<\/span><\/p>\n Questo fenomeno \u00e8 noto come overfitting<\/strong> . Ci\u00f2 accade quando \u201cadattiamo\u201d un modello troppo fedelmente ai dati di addestramento e quindi finiamo per costruire un modello che non \u00e8 utile per fare previsioni sui nuovi dati.<\/span><\/p>\n Per comprendere l’overfitting, torniamo all’esempio della creazione di un modello di regressione che utilizza le ore trascorse a studiare<\/em> per prevedere il punteggio ACT<\/em> .<\/span><\/p>\n Supponiamo di raccogliere dati per 100 studenti in un determinato distretto scolastico e di creare un rapido grafico a dispersione per visualizzare la relazione tra le due variabili:<\/span> <\/p>\n La relazione tra le due variabili sembra essere quadratica, quindi supponiamo di applicare il seguente modello di regressione quadratica:<\/span><\/p>\n Punteggio = 60,1 + 5,4*(Ore) \u2013 0,2*(Ore) 2<\/sup><\/span> <\/p>\n Questo modello ha un errore quadratico medio di addestramento (MSE) di 3,45<\/strong> . Cio\u00e8, la differenza quadratica media tra le previsioni fatte dal modello e i punteggi ACT effettivi \u00e8 3,45.<\/span><\/p>\n Tuttavia, potremmo ridurre questo MSE di formazione adattando un modello polinomiale di ordine superiore. Supponiamo ad esempio di applicare il seguente modello:<\/span><\/p>\n Punteggio = 64,3 \u2013 7,1*(Ore) + 8,1*(Ore) 2<\/sup> \u2013 2,1*(Ore) 3<\/sup> + 0,2*(Ore ) 4 \u2013 0,1*(Ore) 5<\/sup> +<\/sup> 0,2(Ore) 6<\/sup><\/span> <\/p>\n Nota come la linea di regressione si adatta molto pi\u00f9 fedelmente ai dati effettivi rispetto alla linea di regressione precedente.<\/span><\/p>\n Questo modello ha un errore quadratico medio di addestramento (MSE) di soli 0,89<\/strong> . Cio\u00e8, la differenza quadratica media tra le previsioni fatte dal modello e i punteggi ACT effettivi \u00e8 0,89.<\/span><\/p>\n Questa formazione MSE \u00e8 molto pi\u00f9 piccola di quella prodotta dal modello precedente.<\/span><\/p>\n Tuttavia, non ci interessa veramente l’ MSE di addestramento<\/strong> , ovvero quanto bene le previsioni del modello corrispondono ai dati che abbiamo utilizzato per addestrare il modello. Invece, ci preoccupiamo principalmente del test MSE<\/strong> : l\u2019MSE quando il nostro modello viene applicato a dati invisibili.<\/span><\/p>\n Se applicassimo il modello di regressione polinomiale di ordine superiore sopra a un set di dati invisibile, probabilmente otterrebbe risultati peggiori rispetto al modello di regressione quadratica pi\u00f9 semplice. Ci\u00f2 produrrebbe cio\u00e8 un test MSE pi\u00f9 elevato, che \u00e8 esattamente ci\u00f2 che non vogliamo.<\/span><\/p>\n Il modo pi\u00f9 semplice per rilevare l’overfitting \u00e8 eseguire la convalida incrociata. Il metodo pi\u00f9 comunemente utilizzato \u00e8 noto come convalida incrociata k-fold<\/a> e funziona come segue:<\/span><\/p>\n Passaggio 1: dividere casualmente un set di dati in k<\/em> gruppi, o “pieghe”, di dimensioni approssimativamente uguali.<\/strong><\/span> <\/p>\n Passaggio 2: scegli una delle pieghe come set di attesa. Adatta il modello alle restanti pieghe k-1. Calcolare il test MSE sulle osservazioni nello strato che \u00e8 stato tensionato.<\/strong><\/span> <\/p>\n Passaggio 3: ripetere questo processo k<\/em> volte, ogni volta utilizzando un set diverso come set di esclusione.<\/strong><\/span> <\/p>\n Passaggio 4: calcolare l’MSE complessivo del test come media dei k<\/em> MSE del test.<\/strong><\/span><\/p>\n Prova MSE = (1\/k)*\u03a3MSE i<\/sub><\/strong><\/span><\/p>\n Oro:<\/span><\/p>\n Questo test MSE ci d\u00e0 una buona idea di come si comporter\u00e0 un determinato modello su dati sconosciuti.<\/span><\/p>\n In pratica, possiamo adattare diversi modelli diversi ed eseguire una convalida incrociata k-fold su ciascun modello per scoprirne il test MSE. Possiamo quindi scegliere il modello con il test MSE pi\u00f9 basso come modello migliore da utilizzare per fare previsioni future.<\/span><\/p>\n Ci\u00f2 garantisce la selezione di un modello che probabilmente offrir\u00e0 le migliori prestazioni sui dati futuri, al contrario di un modello che semplicemente riduce al minimo l’MSE di formazione e si “adatta” bene ai dati storici.<\/span><\/p>\n Qual \u00e8 il compromesso tra bias e varianza nel machine learning?<\/a> Nell’apprendimento automatico, spesso costruiamo modelli in modo da poter fare previsioni accurate su determinati fenomeni. Ad esempio, supponiamo di voler creare un modello di regressione che utilizzi la variabile predittrice ore trascorse a studiare per prevedere il punteggio ACT della variabile di risposta per gli studenti delle scuole superiori. Per costruire questo modello, raccoglieremo dati […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"yoast_head":"\n\n
Esempio di overfitting<\/strong><\/span><\/h3>\n
![\"\"](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/surapprentissage1.png\")
<\/p>\n![\"Overfitting](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/surapprentissage2.png\")
<\/p>\n![\"Adattamento](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/surapprentissage3.png\")
<\/p>\n Come rilevare ed evitare l’overfitting<\/strong><\/span><\/h3>\n
![\"Dividere](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/kfold1.png\")
<\/p>\n![\"validazione](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/kfold2.png\")
<\/p>\n![\"Esempio](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/kfold3.png\")
<\/p>\n\n
Risorse addizionali<\/strong><\/span><\/h3>\n
Un’introduzione alla convalida incrociata K-Fold<\/a>
Modelli di regressione e classificazione nell’apprendimento automatico<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"