<\/p>\n
Een uitschieter<\/strong> is een waarneming die abnormaal ver verwijderd is van andere waarden in een dataset. Uitschieters kunnen problematisch zijn omdat ze de resultaten van een analyse kunnen be\u00efnvloeden.<\/span><\/p>\n In deze tutorial wordt uitgelegd hoe u uitschieters in R kunt identificeren en verwijderen.<\/span><\/p>\n Voordat u uitbijters kunt verwijderen, moet u eerst beslissen wat u als een uitbijter beschouwt. Er zijn twee veel voorkomende manieren om dit te doen:<\/span><\/p>\n 1. Gebruik het interkwartielbereik.<\/strong><\/span><\/p>\n De interkwartielafstand (IQR) is het verschil tussen het 75e percentiel (Q3) en het 25e percentiel (Q1) in een dataset. Het meet de verdeling van de gemiddelde 50% van de waarden.<\/span><\/p>\n Je kunt een waarneming als uitbijter defini\u00ebren als deze 1,5 maal de interkwartielafstand boven het derde kwartiel (Q3) of 1,5 maal de interkwartielafstand onder het eerste kwartiel (Q1) ligt.<\/span><\/p>\n Uitschieters = Waarnemingen > Q3 + 1,5*IQR of < Q1 \u2013 1,5*IQR<\/strong><\/span><\/p>\n 2. Gebruik z-scores.<\/strong><\/span><\/p>\n Een z-score<\/a> vertelt u hoeveel standaarddeviaties een bepaalde waarde afwijkt van het gemiddelde. We gebruiken de volgende formule om een z-score te berekenen:<\/span><\/p>\n z<\/strong> = (X \u2013 \u03bc) \/ \u03c3<\/span><\/p>\n Goud:<\/span><\/p>\n U kunt een waarneming als uitschieter defini\u00ebren als de z-score kleiner dan -3 of groter dan 3 is.<\/span><\/p>\n Uitschieters = Waarnemingen met z-scores > 3 of < -3<\/strong><\/span><\/p>\n Zodra u hebt besloten wat u als een uitbijter beschouwt, kunt u deze identificeren en uit een dataset verwijderen. Om te illustreren hoe u dit kunt doen, gebruiken we het volgende dataframe:<\/span><\/p>\n We kunnen vervolgens uitschieters defini\u00ebren en verwijderen met behulp van de z-score-methode of de interkwartielbereikmethode:<\/span><\/p>\n Z-score-methode:<\/strong><\/span><\/p>\n De volgende code laat zien hoe u de z-score van elke waarde in elke kolom van het gegevensframe berekent en vervolgens de rijen verwijdert die ten minste \u00e9\u00e9n z-score hebben met een absolute waarde groter dan 3:<\/span><\/p>\n Het oorspronkelijke dataframe had 1000 rijen en 3 kolommen. Het nieuwe dataframe heeft 994 rijen en 3 kolommen, wat ons vertelt dat 6 rijen zijn verwijderd omdat ze ten minste \u00e9\u00e9n z-score hadden met een absolute waarde groter dan 3 in een van hun kolommen.<\/span><\/p>\n Interkwartielbereikmethode:<\/strong><\/span><\/p>\n In sommige gevallen willen we misschien alleen uitschieters in een kolom van een dataframe identificeren. Laten we bijvoorbeeld zeggen dat we alleen rijen met een uitbijter in kolom ‚A‘ van ons dataframe willen verwijderen.<\/span><\/p>\n De volgende code laat zien hoe u rijen uit het dataframe verwijdert waarvan de waarde in kolom ‚A‘ 1,5 keer het interkwartielbereik boven het derde kwartiel (Q3) of 1,5 keer het interkwartielbereik onder het eerste kwartiel (Q1) is. .<\/span><\/p>\n Het oorspronkelijke dataframe had 1000 rijen en 3 kolommen. Het nieuwe dataframe heeft 994 rijen en 3 kolommen, wat ons vertelt dat 6 rijen zijn verwijderd omdat ze ten minste \u00e9\u00e9n uitschieter in kolom A bevatten.<\/span><\/p>\n Als er \u00e9\u00e9n of meer uitschieters aanwezig zijn, moet u eerst verifi\u00ebren dat deze niet het gevolg zijn van een gegevensinvoerfout. Soms voert een individu eenvoudigweg de verkeerde gegevenswaarde in terwijl hij de gegevens opslaat.<\/span><\/p>\n Als de uitbijter het resultaat blijkt te zijn van een gegevensinvoerfout, kunt u besluiten om er een nieuwe waarde aan toe te kennen, zoals het gemiddelde of de mediaan<\/a> van de dataset.<\/span><\/p>\n Als de waarde echt een uitschieter is, kunt u ervoor kiezen deze te verwijderen als deze een aanzienlijke impact heeft op uw algehele analyse. Zorg ervoor dat u in uw eindrapport of analyse vermeldt dat u een uitbijter hebt verwijderd.<\/span><\/p>\n In deze tutorial hebben we rnorm()<\/strong> gebruikt om vectoren van normaal verdeelde willekeurige variabelen te genereren, gegeven een vectorlengte n<\/em> , een populatiegemiddelde \u03bc<\/em> en een populatiestandaarddeviatie \u03c3<\/em> . Meer informatie over deze functie kunt u hier<\/a> vinden.<\/span><\/p>\n Hoe uitschieters in R te identificeren<\/strong><\/span><\/h3>\n
\n
Hoe uitschieters in R te verwijderen<\/strong><\/span><\/h3>\n
#make this example reproducible<\/span> \nset.seed(0)\n\n#create data frame with three columns A', 'B', 'C'<\/span> \ndf <- data.frame(A=rnorm(1000, mean=10, sd=3),\n B=rnorm(1000, mean=20, sd=3),\n C=rnorm(1000, mean=30, sd=3))\n\n#view first six rows of data frame<\/span>\nhead(df)\n ABC\n1 13.78886 19.13945 31.33304\n2 9.02130 25.52332 30.03579\n3 13.98940 19.52971 29.97216\n4 13.81729 15.83059 29.09287\n5 11.24392 15.58069 31.47707\n6 5.38015 19.79144 28.19184\n<\/strong><\/pre>\n #find absolute value of z-score for each value in each column<\/span>\nz_scores <- as.data.frame<\/span> (sapply(df, function(df) (abs(df-mean(df))\/sd(df))))\n\n#view first six rows of z_scores data frame\n<\/span>head(z_scores)\n\n ABC\n1 1.2813403 0.25350805 0.39419878\n2 0.3110243 1.80496734 0.05890232\n3 1.3483190 0.12766847 0.08112630\n4 1.2908343 1.32044506 0.38824414\n5 0.4313316 1.40102642 0.44450451\n6 1.5271674 0.04327186 0.70295309\n\n#only keep rows in dataframe with all z-scores less than absolute value of 3<\/span> \nno_outliers <- z_scores[!rowSums(z_scores>3), ]\n\n#view row and column count of new data frame<\/span>\ndim(no_outliers)\n\n[1] 994 3\n<\/strong><\/pre>\n #find Q1, Q3, and interquartile range for values in column A<\/span>\nQ1 <- quantile(df$A, .25)\nQ3 <- quantile(df$A, .75)\nIQR <- IQR(df$A)\n\n#only keep rows in dataframe that have values within 1.5*IQR of Q1 and Q3<\/span>\nno_outliers <- subset(df, df$A> (Q1 - 1.5*IQR) & df$A< (Q3 + 1.5*IQR))\n\n#view row and column count of new data frame\n<\/span>dim(no_outliers) \n\n[1] 994 3<\/strong><\/pre>\n Wanneer uitschieters verwijderen?<\/strong><\/h3>\n
Aanvullende bronnen<\/strong><\/span><\/h3>\n