Tuttavia, quando il rapporto \u00e8 pi\u00f9 complesso, spesso dobbiamo ricorrere a metodi non lineari.<\/span><\/p>\n Uno di questi metodi sono gli alberi di classificazione e regressione<\/a> (spesso abbreviati CART), che utilizzano un insieme di variabili predittive per creare alberi decisionali<\/em> che prevedono il valore di una variabile di risposta.<\/span> <\/p>\n Tuttavia, lo svantaggio dei modelli CART \u00e8 che tendono a soffrire di una varianza elevata<\/a> . Cio\u00e8, se dividiamo un set di dati in due met\u00e0 e applichiamo un albero decisionale a entrambe le met\u00e0, i risultati potrebbero essere molto diversi.<\/span><\/p>\n Un metodo che possiamo utilizzare per ridurre la varianza dei modelli CART \u00e8 noto come bagging<\/strong> , a volte chiamato aggregazione bootstrap<\/em> .<\/span><\/p>\n Quando creiamo un singolo albero decisionale, utilizziamo solo un set di dati di addestramento per costruire il modello.<\/span><\/p>\n Tuttavia, l’insaccamento<\/strong> utilizza il seguente metodo:<\/span><\/p>\n 1.<\/strong> Prendi b<\/em> campioni bootstrap dal set di dati originale.<\/span><\/p>\n 2.<\/strong> Creare un albero decisionale per ciascun campione di bootstrap.<\/span><\/p>\n 3.<\/strong> Media delle previsioni di ciascun albero per ottenere un modello finale.<\/span><\/p>\n Il bagging pu\u00f2 essere utilizzato con qualsiasi algoritmo di machine learning, ma \u00e8 particolarmente utile per gli alberi decisionali perch\u00e9 hanno intrinsecamente un’elevata varianza e il bagging \u00e8 in grado di ridurre significativamente la varianza, con conseguente riduzione degli errori di test.<\/span><\/p>\n Per applicare il bagging agli alberi decisionali, coltiviamo<\/em> i singoli alberi in profondit\u00e0 senza potarli. Ci\u00f2 si traduce in singoli alberi con varianza elevata, ma distorsione bassa. Quindi, quando prendiamo le previsioni medie da questi alberi, siamo in grado di ridurre la varianza.<\/span><\/p>\n In pratica, le prestazioni ottimali si ottengono generalmente con 50-500 alberi, ma \u00e8 possibile adattare migliaia di alberi per produrre un modello finale.<\/span><\/p>\n Tieni presente che l’inserimento di pi\u00f9 alberi richieder\u00e0 una maggiore potenza di calcolo, il che potrebbe o meno costituire un problema a seconda delle dimensioni del set di dati.<\/span><\/p>\n Risulta che possiamo calcolare l’errore di testing di un modello imballato senza fare affidamento sulla convalida incrociata k-fold<\/a> .<\/span><\/p>\n Il motivo \u00e8 che \u00e8 possibile dimostrare che ciascun campione bootstrap contiene circa 2\/3 delle osservazioni del set di dati originale. Il restante terzo delle osservazioni non utilizzate per adattare l’albero inscatolato \u00e8 chiamato osservazioni out-of-bag (OOB)<\/strong> .<\/span><\/p>\n Possiamo prevedere il valore dell’i-esima osservazione nel set di dati originale prendendo la previsione media da ciascuno degli alberi in cui l’osservazione era OOB.<\/span><\/p>\n Possiamo utilizzare questo approccio per fare una previsione per tutte le n<\/em> osservazioni nel set di dati originale e quindi calcolare un tasso di errore, che \u00e8 una stima valida dell’errore del test.<\/span><\/p>\n Il vantaggio di utilizzare questo approccio per stimare l’errore del test \u00e8 che \u00e8 molto pi\u00f9 veloce della convalida incrociata k-fold, soprattutto quando il set di dati \u00e8 di grandi dimensioni.<\/span><\/p>\n Ricorda che uno dei vantaggi degli alberi decisionali \u00e8 che sono facili da interpretare e visualizzare.<\/span><\/p>\n Quando invece utilizziamo il bagging, non siamo pi\u00f9 in grado di interpretare o visualizzare un singolo albero poich\u00e9 il modello finale con bagging \u00e8 il risultato della media di molti alberi diversi. Otteniamo accuratezza della previsione a scapito dell\u2019interpretabilit\u00e0.<\/span><\/p>\n Tuttavia, possiamo ancora comprendere l’importanza di ciascuna variabile predittrice calcolando la riduzione totale dell’RSS (somma residua dei quadrati) dovuta alla distribuzione su un dato predittore, mediata su tutti i B-<\/em> tree. Maggiore \u00e8 il valore, maggiore \u00e8 l’importanza del predittore.<\/span> <\/p>\n Allo stesso modo, per i modelli di classificazione, possiamo calcolare la riduzione totale dell’indice di Gini dovuta alla distribuzione su un dato predittore, mediata su tutti gli alberi B.<\/em> Maggiore \u00e8 il valore, pi\u00f9 importante \u00e8 il predittore.<\/span><\/p>\n Quindi, anche se non possiamo interpretare esattamente un modello complessivo finale, possiamo comunque avere un’idea di quanto sia importante ciascuna variabile predittiva quando si prevede la risposta.<\/span><\/p>\n Il vantaggio del bagging \u00e8 che generalmente fornisce un miglioramento nel tasso di errore del test rispetto a un singolo albero decisionale.<\/span><\/p>\n Lo svantaggio \u00e8 che le previsioni derivanti dalla raccolta di alberi in sacchi possono essere altamente correlate se nel set di dati \u00e8 presente un predittore molto forte.<\/span><\/p>\n In questo caso, la maggior parte o tutti gli alberi inseriti utilizzeranno questo predittore per la prima suddivisione, risultando in alberi simili tra loro e con previsioni altamente correlate.<\/span><\/p>\n Un modo per aggirare questo problema \u00e8 utilizzare foreste casuali, che utilizzano un metodo simile al bagging ma sono in grado di produrre alberi decorati, il che spesso porta a tassi di errore dei test inferiori.<\/span><\/p>\n Puoi leggere una semplice introduzione alle foreste casuali qui<\/a> .<\/span><\/p>\n Un’introduzione alla classificazione e agli alberi di regressione<\/a> Quando la relazione tra un insieme di variabili predittive e una variabile di risposta \u00e8 lineare, possiamo utilizzare metodi come la regressione lineare multipla per modellare la relazione tra le variabili. Tuttavia, quando il rapporto \u00e8 pi\u00f9 complesso, spesso dobbiamo ricorrere a metodi non lineari. Uno di questi metodi sono gli alberi di classificazione e […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"yoast_head":"\n![\"\"](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/arbre3.png\")
Cos’\u00e8 l’insaccamento?<\/strong><\/span><\/h3>\n
\n
\n
Stima degli errori di out-of-bag<\/strong><\/span><\/h3>\n
Comprendere l’importanza dei predittori<\/strong><\/span><\/h3>\n
![\"Grafico](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/sac1.png\")
Vai oltre l’insaccamento<\/strong><\/span><\/h3>\n
Risorse addizionali<\/strong><\/span><\/h3>\n
Come eseguire l’insaccamento in R (passo dopo passo)<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"