Il modo pi\u00f9 comune per misurarlo \u00e8 utilizzare l\u2019errore quadratico medio (MSE), che viene calcolato come segue:<\/span><\/p>\n MSE = (1\/n)*\u03a3(y i<\/sub> \u2013 f(x i<\/sub> )) 2<\/sup><\/span><\/p>\n Oro:<\/span><\/p>\n Pi\u00f9 le previsioni del modello si avvicinano alle osservazioni, pi\u00f9 basso sar\u00e0 il MSE.<\/span><\/p>\n In pratica, utilizziamo il seguente processo per calcolare l\u2019MSE di un dato modello:<\/span><\/p>\n 1.<\/strong> Dividere un set di dati in un set di training e un set di test.<\/span><\/p>\n 2.<\/strong> Crea il modello utilizzando solo i dati del set di training.<\/span><\/p>\n 3.<\/strong> Utilizzare il modello per fare previsioni sul set di test e misurare l’MSE del test.<\/span><\/p>\n I test MSE ci danno un’idea delle prestazioni di un modello su dati mai visti prima. Tuttavia, lo svantaggio di utilizzare un singolo set di test \u00e8 che il test MSE pu\u00f2 variare in modo significativo a seconda delle osservazioni utilizzate nei set di training e di test.<\/span><\/p>\n Un modo per evitare questo problema \u00e8 adattare un modello pi\u00f9 volte utilizzando ogni volta un set di training e test diverso, quindi calcolare l’MSE di test come media di tutti gli MSE di test.<\/span><\/p>\n Questo metodo generale \u00e8 noto come convalida incrociata e una sua forma specifica \u00e8 nota come convalida incrociata k-fold<\/b> .<\/span><\/p>\n La convalida incrociata K-fold<\/strong> utilizza il seguente approccio per valutare un modello:<\/span><\/p>\n Passaggio 1: dividere casualmente un set di dati in k<\/em> gruppi, o “pieghe”, di dimensioni approssimativamente uguali.<\/strong><\/span> <\/p>\n Passaggio 2: scegli una delle pieghe come set di attesa. Adatta il modello alle restanti pieghe k-1. Calcolare il test MSE sulle osservazioni nello strato che \u00e8 stato tensionato.<\/strong><\/span> <\/p>\n Passaggio 3: ripetere questo processo k<\/em> volte, ogni volta utilizzando un set diverso come set di esclusione.<\/strong><\/span> <\/p>\n Passaggio 4: calcolare l’MSE complessivo del test come media dei k<\/em> MSE del test.<\/strong><\/span><\/p>\n Prova MSE = (1\/k)*\u03a3MSE i<\/sub><\/strong><\/span><\/p>\n Oro:<\/span><\/p>\n In generale, pi\u00f9 pieghe utilizziamo nella convalida incrociata k-fold, minore \u00e8 la distorsione del test MSE ma maggiore \u00e8 la varianza. Al contrario, meno pieghe utilizziamo, maggiore \u00e8 il bias ma minore \u00e8 la varianza. Questo \u00e8 un classico esempio del compromesso bias-varianza<\/a> nell\u2019apprendimento automatico.<\/span><\/p>\n In pratica, generalmente scegliamo di utilizzare tra 5 e 10 veli. Come notato in An Introduction to Statistical Learning<\/em> ,<\/a> \u00e8 stato dimostrato che questo numero di pieghe fornisce un equilibrio ottimale tra bias e varianza e quindi fornisce stime affidabili dell’MSE del test:<\/span><\/p>\n Per riassumere, esiste un compromesso bias-varianza associato alla scelta di k nella convalida incrociata k-fold.<\/span><\/p>\n Tipicamente, date queste considerazioni, si esegue una validazione incrociata k-fold utilizzando k = 5 o k = 10, poich\u00e9 \u00e8 stato dimostrato empiricamente che questi valori producono stime del tasso di errore del test che non subiscono n\u00e9 bias eccessivamente elevati n\u00e9 varianza molto elevata.<\/span><\/p>\n -Pagina 184, Un’introduzione all’apprendimento statistico<\/em><\/span><\/p>\n<\/blockquote>\n Quando dividiamo un set di dati in un singolo set di training e in un singolo set di test, il test MSE calcolato sulle osservazioni nel set di test pu\u00f2 variare in modo significativo a seconda delle osservazioni utilizzate nei set di training e di test.<\/span><\/p>\n Utilizzando la convalida incrociata k-fold, siamo in grado di calcolare il test MSE utilizzando diverse varianti di set di training e test. Questo ci d\u00e0 una possibilit\u00e0 molto maggiore di ottenere una stima imparziale del MSE del test.<\/span><\/p>\n La convalida incrociata K-fold fornisce anche un vantaggio computazionale rispetto alla convalida incrociata Leave-One-Out (LOOCV)<\/a> perch\u00e9 deve adattarsi a un modello solo k<\/em> volte anzich\u00e9 n<\/em> volte.<\/span><\/p>\n Per i modelli che richiedono molto tempo per adattarsi, la convalida incrociata k-fold pu\u00f2 calcolare il test MSE molto pi\u00f9 velocemente di LOOCV e in molti casi il test MSE calcolato da ciascun approccio sar\u00e0 abbastanza simile se si utilizza un numero sufficiente di pieghe.<\/span><\/p>\n Esistono diverse estensioni alla convalida incrociata k-fold, tra cui:<\/span><\/p>\n Convalida incrociata k-fold ripetuta:<\/strong> \u00e8 qui che la convalida incrociata k-fold viene semplicemente ripetuta n<\/em> volte. Ogni volta che i set di training e test vengono mischiati, ci\u00f2 riduce ulteriormente la distorsione nella stima MSE del test, sebbene ci\u00f2 richieda pi\u00f9 tempo per essere completato rispetto alla normale convalida incrociata k-fold.<\/span><\/p>\n Convalida incrociata Leave-One-Out:<\/strong> questo \u00e8 un caso speciale di convalida incrociata k-fold in cui k<\/em> = n<\/em> . Puoi saperne di pi\u00f9 su questo metodo qui<\/a> .<\/span><\/p>\n\n
Convalida incrociata K-Fold<\/strong><\/span><\/h3>\n
![\"Dividere](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/kfold1.png\")
<\/p>\n![\"validazione](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/kfold2.png\")
<\/p>\n![\"Esempio](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/kfold3.png\")
<\/p>\n\n
Come scegliere K<\/strong><\/span><\/h3>\n
\n
Vantaggi della convalida incrociata K-Fold<\/strong><\/span><\/h3>\n
Estensioni di convalida incrociata K-Fold<\/strong><\/span><\/h3>\n