{"id":1235,"date":"2023-07-27T04:52:33","date_gmt":"2023-07-27T04:52:33","guid":{"rendered":"https:\/\/statorials.org\/it\/xgboost-in-r\/"},"modified":"2023-07-27T04:52:33","modified_gmt":"2023-07-27T04:52:33","slug":"xgboost-in-r","status":"publish","type":"post","link":"https:\/\/statorials.org\/it\/xgboost-in-r\/","title":{"rendered":"Xgboost in r: un esempio passo passo"},"content":{"rendered":"

<\/p>\n

\n

Il boosting<\/a> \u00e8 una tecnica di machine learning che ha dimostrato di produrre modelli con elevata precisione predittiva.<\/span><\/p>\n

Uno dei modi pi\u00f9 comuni per implementare il potenziamento nella pratica \u00e8 utilizzare XGBoost<\/strong> , abbreviazione di “extreme gradient boosting”.<\/span><\/p>\n

Questo tutorial fornisce un esempio passo passo di come utilizzare XGBoost per adattare un modello avanzato in R.<\/span><\/p>\n

Passaggio 1: caricare i pacchetti necessari<\/span><\/strong><\/h3>\n

Per prima cosa caricheremo le librerie necessarie.<\/span><\/p>\n

 library<\/span> (xgboost) #for fitting the xgboost model<\/span>\nlibrary<\/span> (caret) #for general data preparation and model fitting<\/span>\n<\/strong><\/pre>\n
 Passaggio 2: caricare i dati<\/strong><\/span><\/h3>\n
 Per questo esempio, adatteremo un modello di regressione migliorato al set di dati di Boston<\/strong> dal pacchetto MASS<\/strong> .<\/span><\/p>\n
 Questo set di dati contiene 13 variabili predittive che utilizzeremo per prevedere una variabile di risposta<\/a> denominata mdev<\/strong> , che rappresenta il valore mediano delle case in diverse zone censite intorno a Boston.<\/span><\/p>\n
 #load the data\n<\/span>data = MASS::Boston\n\n#view the structure of the data\n<\/span>str(data) \n\n'data.frame': 506 obs. of 14 variables:\n $ crim: num 0.00632 0.02731 0.02729 0.03237 0.06905 ...\n $ zn : num 18 0 0 0 0 0 12.5 12.5 12.5 12.5 ...\n $ indus: num 2.31 7.07 7.07 2.18 2.18 2.18 7.87 7.87 7.87 7.87 ...\n $chas: int 0 0 0 0 0 0 0 0 0 0 ...\n $ nox: num 0.538 0.469 0.469 0.458 0.458 0.458 0.524 0.524 0.524 0.524 ...\n $rm: num 6.58 6.42 7.18 7 7.15 ...\n $ age: num 65.2 78.9 61.1 45.8 54.2 58.7 66.6 96.1 100 85.9 ...\n $ dis: num 4.09 4.97 4.97 6.06 6.06 ...\n $rad: int 1 2 2 3 3 3 5 5 5 5 ...\n $ tax: num 296 242 242 222 222 222 311 311 311 311 ...\n $ptratio: num 15.3 17.8 17.8 18.7 18.7 18.7 15.2 15.2 15.2 15.2 ...\n $ black: num 397 397 393 395 397 ...\n $ lstat: num 4.98 9.14 4.03 2.94 5.33 ...\n $ medv: num 24 21.6 34.7 33.4 36.2 28.7 22.9 27.1 16.5 18.9 ...\n<\/span><\/span><\/strong><\/pre>\n
 Passaggio 3: preparare i dati<\/strong><\/span><\/h3>\n
 Successivamente, utilizzeremo la funzione createDataPartition()<\/strong> dal pacchetto caret per dividere il set di dati originale in un set di training e test.<\/span><\/p>\n
 Per questo esempio, sceglieremo di utilizzare l’80% del set di dati originale come parte del set di addestramento.<\/span><\/p>\n
 Tieni presente che anche il pacchetto xgboost utilizza dati di matrice, quindi utilizzeremo la funzione data.matrix()<\/strong> per contenere le nostre variabili predittive.<\/span><\/p>\n
 #make this example reproducible\n<\/span>set.seed(0)\n\n#split into training (80%) and testing set (20%)\n<\/span>parts = createDataPartition(data$medv, p = .8<\/span> , list = F<\/span> )\ntrain = data[parts, ]\ntest = data[-parts, ]\n\n#define predictor and response variables in training set\n<\/span>train_x = data. matrix<\/span> (train[, -13])\ntrain_y = train[,13]\n\n#define predictor and response variables in testing set\n<\/span>test_x = data. matrix<\/span> (test[, -13])\ntest_y = test[, 13]\n\n#define final training and testing sets\n<\/span>xgb_train = xgb. DMatrix<\/span> (data = train_x, label = train_y)\nxgb_test = xgb. DMatrix<\/span> (data = test_x, label = test_y)\n<\/span><\/span><\/strong><\/pre>\n
 Passaggio 4: regolare il modello<\/strong><\/span><\/h3>\n
 Successivamente, ottimizzeremo il modello XGBoost utilizzando la funzione xgb.train()<\/strong> , che visualizza l’RMSE (errore quadratico medio) di addestramento e test per ciascun ciclo di potenziamento.<\/span><\/p>\n
 Tieni presente che per questo esempio abbiamo scelto di utilizzare 70 cicli, ma per set di dati molto pi\u00f9 grandi non \u00e8 raro utilizzare centinaia o addirittura migliaia di cicli. Tieni presente che maggiore \u00e8 il numero di giri, maggiore \u00e8 la durata.<\/span><\/p>\n
 Si noti inoltre che l’argomento max.degree<\/strong> specifica la profondit\u00e0 di sviluppo dei singoli alberi decisionali. Di solito scegliamo questo numero piuttosto basso, come 2 o 3, per far crescere alberi pi\u00f9 piccoli. \u00c8 stato dimostrato che questo approccio tende a produrre modelli pi\u00f9 accurati.<\/span><\/p>\n
 #define watchlist\n<\/span>watchlist = list(train=xgb_train, test=xgb_test)\n\n#fit XGBoost model and display training and testing data at each round\n<\/span>model = xgb.train(data = xgb_train, max.depth = 3<\/span> , watchlist=watchlist, nrounds = 70<\/span> )\n\n[1] train-rmse:10.167523 test-rmse:10.839775 \n[2] train-rmse:7.521903 test-rmse:8.329679 \n[3] train-rmse:5.702393 test-rmse:6.691415 \n[4] train-rmse:4.463687 test-rmse:5.631310 \n[5] train-rmse:3.666278 test-rmse:4.878750 \n[6] train-rmse:3.159799 test-rmse:4.485698 \n[7] train-rmse:2.855133 test-rmse:4.230533 \n[8] train-rmse:2.603367 test-rmse:4.099881 \n[9] train-rmse:2.445718 test-rmse:4.084360 \n[10] train-rmse:2.327318 test-rmse:3.993562 \n[11] train-rmse:2.267629 test-rmse:3.944454 \n[12] train-rmse:2.189527 test-rmse:3.930808 \n[13] train-rmse:2.119130 test-rmse:3.865036 \n[14] train-rmse:2.086450 test-rmse:3.875088 \n[15] train-rmse:2.038356 test-rmse:3.881442 \n[16] train-rmse:2.010995 test-rmse:3.883322 \n[17] train-rmse:1.949505 test-rmse:3.844382 \n[18] train-rmse:1.911711 test-rmse:3.809830 \n[19] train-rmse:1.888488 test-rmse:3.809830 \n[20] train-rmse:1.832443 test-rmse:3.758502 \n[21] train-rmse:1.816150 test-rmse:3.770216 \n[22] train-rmse:1.801369 test-rmse:3.770474 \n[23] train-rmse:1.788891 test-rmse:3.766608 \n[24] train-rmse:1.751795 test-rmse:3.749583 \n[25] train-rmse:1.713306 test-rmse:3.720173 \n[26] train-rmse:1.672227 test-rmse:3.675086 \n[27] train-rmse:1.648323 test-rmse:3.675977 \n[28] train-rmse:1.609927 test-rmse:3.745338 \n[29] train-rmse:1.594891 test-rmse:3.756049 \n[30] train-rmse:1.578573 test-rmse:3.760104 \n[31] train-rmse:1.559810 test-rmse:3.727940 \n[32] train-rmse:1.547852 test-rmse:3.731702 \n[33] train-rmse:1.534589 test-rmse:3.729761 \n[34] train-rmse:1.520566 test-rmse:3.742681 \n[35] train-rmse:1.495155 test-rmse:3.732993 \n[36] train-rmse:1.467939 test-rmse:3.738329 \n[37] train-rmse:1.446343 test-rmse:3.713748 \n[38] train-rmse:1.435368 test-rmse:3.709469 \n[39] train-rmse:1.401356 test-rmse:3.710637 \n[40] train-rmse:1.390318 test-rmse:3.709461 \n[41] train-rmse:1.372635 test-rmse:3.708049 \n[42] train-rmse:1.367977 test-rmse:3.707429 \n[43] train-rmse:1.359531 test-rmse:3.711663 \n[44] train-rmse:1.335347 test-rmse:3.709101 \n[45] train-rmse:1.331750 test-rmse:3.712490 \n[46] train-rmse:1.313087 test-rmse:3.722981 \n[47] train-rmse:1.284392 test-rmse:3.712840 \n[48] train-rmse:1.257714 test-rmse:3.697482 \n[49] train-rmse:1.248218 test-rmse:3.700167 \n[50] train-rmse:1.243377 test-rmse:3.697914 \n[51] train-rmse:1.231956 test-rmse:3.695797 \n[52] train-rmse:1.219341 test-rmse:3.696277 \n[53] train-rmse:1.207413 test-rmse:3.691465 \n[54] train-rmse:1.197197 test-rmse:3.692108 \n[55] train-rmse:1.171748 test-rmse:3.683577 \n[56] train-rmse:1.156332 test-rmse:3.674458 \n[57] train-rmse:1.147686 test-rmse:3.686367 \n[58] train-rmse:1.143572 test-rmse:3.686375 \n[59] train-rmse:1.129780 test-rmse:3.679791 \n[60] train-rmse:1.111257 test-rmse:3.679022 \n[61] train-rmse:1.093541 test-rmse:3.699670 \n[62] train-rmse:1.083934 test-rmse:3.708187 \n[63] train-rmse:1.067109 test-rmse:3.712538 \n[64] train-rmse:1.053887 test-rmse:3.722480 \n[65] train-rmse:1.042127 test-rmse:3.720720 \n[66] train-rmse:1.031617 test-rmse:3.721224 \n[67] train-rmse:1.016274 test-rmse:3.699549 \n[68] train-rmse:1.008184 test-rmse:3.709522 \n[69] train-rmse:0.999220 test-rmse:3.708000 \n[70] train-rmse:0.985907 test-rmse:3.705192 \n<\/span><\/span><\/strong><\/pre>\n
 Quindi, imposteremo il nostro modello XGBoost finale per utilizzare 56 round:<\/span><\/p>\n
 #define final model\n<\/span>final = xgboost(data = xgb_train, max.depth = 3<\/span> , nrounds = 56<\/span> , verbose = 0<\/span> )<\/span><\/span><\/strong><\/pre>\n
 Nota: l’argomento verbose=0<\/strong> indica a R di non visualizzare l’errore di addestramento e test per ogni round.<\/span><\/p>\n
 Passaggio 5: utilizzare il modello per fare previsioni<\/strong><\/span><\/h3>\n
 Infine, possiamo utilizzare il modello finale migliorato per fare previsioni sul valore mediano delle case di Boston nel set di test.<\/span><\/p>\n
 Calcoleremo quindi le seguenti metriche di precisione per il modello:<\/span><\/p>\n
 Dal risultato, possiamo vedere che l’RMSE minimo del test viene raggiunto a 56<\/strong> round. Oltre questo punto, l’RMSE del test inizia ad aumentare, indicando che stiamo adattando eccessivamente i dati di addestramento<\/a> .<\/span><\/p>\n
 Possiamo vedere che il set di dati contiene 506 osservazioni<\/a> e 14 variabili in totale.<\/span><\/p>\n