<\/p>\n
Om de prestaties van een model op een dataset te evalueren, moeten we meten hoe goed de voorspellingen van het model overeenkomen met de waargenomen gegevens.<\/span><\/p>\n Een veelgebruikte methode om dit te doen staat bekend als k-fold cross-validatie<\/a> , waarbij de volgende aanpak wordt gebruikt:<\/span><\/p>\n 1.<\/strong> Verdeel een dataset willekeurig in k<\/em> groepen, of \u2018vouwen\u2019, van ongeveer gelijke grootte.<\/span><\/p>\n 2.<\/strong> Kies een van de vouwen als bevestigingsset. Pas de sjabloon aan de resterende k-1-vouwen aan. Bereken de MSE-proef op de waarnemingen in de gespannen lamel.<\/span><\/p>\n 3.<\/strong> Herhaal dit proces k<\/em> keer, telkens met een andere set als uitsluitingsset.<\/span><\/p>\n 4.<\/strong> Bereken de totale test-MSE als het gemiddelde van de k-<\/em> test-MSE’s.<\/span><\/p>\n Deze zelfstudie biedt een stapsgewijs voorbeeld van hoe u k-voudige kruisvalidatie kunt uitvoeren voor een bepaald model in Python.<\/span><\/p>\n Eerst laden we de functies en bibliotheken die nodig zijn voor dit voorbeeld:<\/span><\/p>\n Vervolgens maken we een Panda DataFrame dat twee voorspellende variabelen bevat, x1<\/sub> en x2<\/sub> , en een enkele responsvariabele y.<\/span><\/p>\n Vervolgens passen we een meervoudig lineair regressiemodel<\/a> aan de dataset toe en voeren we LOOCV uit om de prestaties van het model te evalueren.<\/span><\/p>\n Uit het resultaat kunnen we zien dat de gemiddelde absolute fout (MAE) 3,614<\/strong> was. Dat wil zeggen dat de gemiddelde absolute fout tussen de modelvoorspelling en de feitelijk waargenomen gegevens 3,614 bedraagt.<\/span><\/p>\n Over het algemeen geldt dat hoe lager de MAE, hoe beter een model feitelijke waarnemingen kan voorspellen.<\/span><\/p>\n Een andere veelgebruikte maatstaf om de prestaties van modellen te evalueren is de root mean square error (RMSE). De volgende code laat zien hoe u deze statistiek kunt berekenen met behulp van LOOCV:<\/span><\/p>\n Uit het resultaat kunnen we zien dat de root mean square error (RMSE) 4,284<\/strong> was.<\/span><\/p>\n Hoe lager de RMSE, hoe beter een model daadwerkelijke waarnemingen kan voorspellen.<\/span><\/p>\n In de praktijk passen we doorgaans verschillende modellen aan en vergelijken we de RMSE of MAE van elk model om te beslissen welk model de laagste testfoutpercentages oplevert en daarom het beste model is om te gebruiken.<\/span><\/p>\n Merk ook op dat we in dit voorbeeld ervoor kiezen om k=5 vouwen te gebruiken, maar u kunt elk gewenst aantal vouwen kiezen.<\/span><\/p>\n In de praktijk kiezen we doorgaans tussen 5 en 10 lagen, omdat dit het optimale aantal lagen blijkt te zijn dat betrouwbare testfoutpercentages oplevert.<\/span><\/p>\n Je kunt de volledige documentatie voor de KFold()-functie van sklearn hier<\/a> vinden.<\/em><\/span><\/p>\n Een inleiding tot K-fold kruisvalidatie<\/a> Om de prestaties van een model op een dataset te evalueren, moeten we meten hoe goed de voorspellingen van het model overeenkomen met de waargenomen gegevens. Een veelgebruikte methode om dit te doen staat bekend als k-fold cross-validatie , waarbij de volgende aanpak wordt gebruikt: 1. Verdeel een dataset willekeurig in k groepen, of \u2018vouwen\u2019, […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"class_list":["post-1178","post","type-post","status-publish","format-standard","hentry","category-gids"],"yoast_head":"\n Stap 1: Laad de benodigde bibliotheken<\/strong><\/span><\/h3>\n
from<\/span> sklearn. model_selection<\/span> import<\/span> train_test_split\nfrom<\/span> sklearn. model_selection<\/span> import<\/span> KFold\nfrom<\/span> sklearn. model_selection<\/span> import<\/span> cross_val_score\nfrom<\/span> sklearn. linear_model<\/span> import<\/span> LinearRegression\nfrom<\/span> numpy import<\/span> means\nfrom<\/span> numpy import<\/span> absolute\nfrom<\/span> numpy import<\/span> sqrt\nimport<\/span> pandas as<\/span> pd\n<\/strong><\/span><\/pre>\n Stap 2: Cre\u00eber de gegevens<\/strong><\/span><\/h3>\n
df = pd.DataFrame({' y<\/span> ': [6, 8, 12, 14, 14, 15, 17, 22, 24, 23],\n ' x1<\/span> ': [2, 5, 4, 3, 4, 6, 7, 5, 8, 9],\n ' x2<\/span> ': [14, 12, 12, 13, 7, 8, 7, 4, 6, 5]})\n<\/strong><\/span><\/pre>\n Stap 3: Voer K-voudige kruisvalidatie uit<\/strong><\/span><\/h3>\n
#define predictor and response variables\n<\/span>X = df[[' x1<\/span> ', ' x2<\/span> ']]\ny = df[' y<\/span> ']\n\n#define cross-validation method to use\n<\/span>cv<\/span> =<\/span> KFold<\/span> (<\/span> n_splits<\/span> =<\/span> 10<\/span> ,<\/span> random_state<\/span> =<\/span> 1<\/span> ,<\/span> shuffle<\/span> =<\/span> True<\/span> )<\/span>\n\n#build multiple linear regression model\n<\/span>model = LinearRegression()\n\n#use k-fold CV to evaluate model\n<\/span>scores = cross_val_score(model, X, y, scoring=' neg_mean_absolute_error<\/span> ',\n cv=cv, n_jobs=-1)\n\n#view mean absolute error\n<\/span>mean(absolute(scores))\n\n3.6141267491803646\n<\/strong><\/span><\/pre>\n #define predictor and response variables\n<\/span>X = df[[' x1<\/span> ', ' x2<\/span> ']]\ny = df[' y<\/span> ']\n\n#define cross-validation method to use\n<\/span>cv<\/span> =<\/span> KFold<\/span> (<\/span> n_splits<\/span> =<\/span> 5<\/span> ,<\/span> random_state<\/span> =<\/span> 1<\/span> ,<\/span> shuffle<\/span> =<\/span> True<\/span> )<\/span> \n\n#build multiple linear regression model\n<\/span>model = LinearRegression()\n\n#use LOOCV to evaluate model\n<\/span>scores = cross_val_score(model, X, y, scoring=' neg_mean_squared_error<\/span> ',\n cv=cv, n_jobs=-1)\n\n#view RMSE\n<\/span>sqrt(mean(absolute(scores)))\n\n4.284373111711816<\/strong><\/span><\/pre>\n Aanvullende bronnen<\/strong><\/span><\/h3>\n
Een complete gids voor lineaire regressie in Python<\/a>
Leave-One-Out kruisvalidatie in Python<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"