<\/p>\n
Ein Ausrei\u00dfer<\/strong> ist eine Beobachtung, die ungew\u00f6hnlich weit von anderen Werten in einem Datensatz entfernt ist. Ausrei\u00dfer k\u00f6nnen problematisch sein, da sie die Ergebnisse einer Analyse beeinflussen k\u00f6nnen.<\/span><\/p>\n In diesem Tutorial wird erl\u00e4utert, wie Sie Ausrei\u00dfer in R identifizieren und entfernen.<\/span><\/p>\n Bevor Sie Ausrei\u00dfer entfernen k\u00f6nnen, m\u00fcssen Sie zun\u00e4chst entscheiden, was Sie als Ausrei\u00dfer betrachten. Es gibt zwei g\u00e4ngige Methoden, dies zu tun:<\/span><\/p>\n 1. Nutzen Sie den Interquartilbereich.<\/strong><\/span><\/p>\n Der Interquartilbereich (IQR) ist die Differenz zwischen dem 75. Perzentil (Q3) und dem 25. Perzentil (Q1) in einem Datensatz. Es misst die Verteilung der durchschnittlichen 50 % der Werte.<\/span><\/p>\n Sie k\u00f6nnen eine Beobachtung als Ausrei\u00dfer definieren, wenn sie das 1,5-fache des Interquartilbereichs \u00fcber dem dritten Quartil (Q3) oder das 1,5-fache des Interquartilbereichs unter dem ersten Quartil (Q1) betr\u00e4gt.<\/span><\/p>\n Ausrei\u00dfer = Beobachtungen > Q3 + 1,5*IQR oder < Q1 \u2013 1,5*IQR<\/strong><\/span><\/p>\n 2. Verwenden Sie Z-Scores.<\/strong><\/span><\/p>\n Ein Z-Score<\/a> sagt Ihnen, wie viele Standardabweichungen ein bestimmter Wert vom Mittelwert hat. Wir verwenden die folgende Formel, um einen Z-Score zu berechnen:<\/span><\/p>\n z<\/strong> = (X \u2013 \u03bc) \/ \u03c3<\/span><\/p>\n Gold:<\/span><\/p>\n Sie k\u00f6nnen eine Beobachtung als Ausrei\u00dfer definieren, wenn ihr Z-Score kleiner als -3 oder gr\u00f6\u00dfer als 3 ist.<\/span><\/p>\n Ausrei\u00dfer = Beobachtungen mit Z-Scores > 3 oder < -3<\/strong><\/span><\/p>\n Sobald Sie entschieden haben, was Sie als Ausrei\u00dfer betrachten, k\u00f6nnen Sie diese identifizieren und aus einem Datensatz entfernen. Um dies zu veranschaulichen, verwenden wir den folgenden Datenrahmen:<\/span><\/p>\n Anschlie\u00dfend k\u00f6nnen wir Ausrei\u00dfer mithilfe der Z-Score-Methode oder der Interquartilbereichsmethode definieren und entfernen:<\/span><\/p>\n Z-Score-Methode:<\/strong><\/span><\/p>\n Der folgende Code zeigt, wie der Z-Score jedes Werts in jeder Spalte des Datenrahmens berechnet und dann die Zeilen entfernt werden, die mindestens einen Z-Score mit einem absoluten Wert gr\u00f6\u00dfer als 3 haben:<\/span><\/p>\n Der urspr\u00fcngliche Datenrahmen hatte 1000 Zeilen und 3 Spalten. Der neue Datenrahmen hat 994 Zeilen und 3 Spalten, was uns sagt, dass 6 Zeilen entfernt wurden, weil sie in einer ihrer Spalten mindestens einen Z-Score mit einem absoluten Wert gr\u00f6\u00dfer als 3 hatten.<\/span><\/p>\n Interquartilbereichsmethode:<\/strong><\/span><\/p>\n In manchen F\u00e4llen m\u00f6chten wir m\u00f6glicherweise nur Ausrei\u00dfer in einer Spalte eines Datenrahmens identifizieren. Nehmen wir zum Beispiel an, wir m\u00f6chten nur Zeilen mit einem Ausrei\u00dfer in Spalte \u201eA\u201c unseres Datenrahmens entfernen.<\/span><\/p>\n Der folgende Code zeigt, wie Zeilen aus dem Datenrahmen entfernt werden, deren Wert in Spalte \u201eA\u201c das 1,5-fache des Interquartilbereichs oberhalb des dritten Quartils (Q3) oder das 1,5-fache des Interquartilbereichs unterhalb des ersten Quartils (Q1) betr\u00e4gt. .<\/span><\/p>\n Der urspr\u00fcngliche Datenrahmen hatte 1000 Zeilen und 3 Spalten. Der neue Datenrahmen hat 994 Zeilen und 3 Spalten, was uns sagt, dass 6 Zeilen entfernt wurden, weil sie mindestens einen Ausrei\u00dfer in Spalte A enthielten.<\/span><\/p>\n Wenn ein oder mehrere Ausrei\u00dfer vorhanden sind, m\u00fcssen Sie zun\u00e4chst sicherstellen, dass diese nicht auf einen Dateneingabefehler zur\u00fcckzuf\u00fchren sind. Manchmal gibt eine Person beim Speichern der Daten einfach den falschen Datenwert ein.<\/span><\/p>\n Wenn sich herausstellt, dass der Ausrei\u00dfer das Ergebnis eines Dateneingabefehlers ist, k\u00f6nnen Sie ihm einen neuen Wert zuweisen, beispielsweise den Mittelwert oder Median<\/a> des Datensatzes.<\/span><\/p>\n Wenn der Wert wirklich ein Ausrei\u00dfer ist, k\u00f6nnen Sie ihn entfernen, wenn er erhebliche Auswirkungen auf Ihre Gesamtanalyse hat. Erw\u00e4hnen Sie in Ihrem Abschlussbericht oder Ihrer Analyse unbedingt, dass Sie einen Ausrei\u00dfer entfernt haben.<\/span><\/p>\n In diesem Tutorial haben wir rnorm()<\/strong> verwendet, um Vektoren normalverteilter Zufallsvariablen mit einer Vektorl\u00e4nge n<\/em> , einem Populationsmittelwert \u03bc<\/em> und einer Populationsstandardabweichung \u03c3<\/em> zu generieren. Weitere Informationen zu dieser Funktion finden Sie hier<\/a> .<\/span><\/p>\n So identifizieren Sie Ausrei\u00dfer in R<\/strong><\/span><\/h3>\n
\n
So entfernen Sie Ausrei\u00dfer in R<\/strong><\/span><\/h3>\n
#make this example reproducible<\/span> \nset.seed(0)\n\n#create data frame with three columns A', 'B', 'C'<\/span> \ndf <- data.frame(A=rnorm(1000, mean=10, sd=3),\n B=rnorm(1000, mean=20, sd=3),\n C=rnorm(1000, mean=30, sd=3))\n\n#view first six rows of data frame<\/span>\nhead(df)\n ABC\n1 13.78886 19.13945 31.33304\n2 9.02130 25.52332 30.03579\n3 13.98940 19.52971 29.97216\n4 13.81729 15.83059 29.09287\n5 11.24392 15.58069 31.47707\n6 5.38015 19.79144 28.19184\n<\/strong><\/pre>\n #find absolute value of z-score for each value in each column<\/span>\nz_scores <- as.data.frame<\/span> (sapply(df, function(df) (abs(df-mean(df))\/sd(df))))\n\n#view first six rows of z_scores data frame\n<\/span>head(z_scores)\n\n ABC\n1 1.2813403 0.25350805 0.39419878\n2 0.3110243 1.80496734 0.05890232\n3 1.3483190 0.12766847 0.08112630\n4 1.2908343 1.32044506 0.38824414\n5 0.4313316 1.40102642 0.44450451\n6 1.5271674 0.04327186 0.70295309\n\n#only keep rows in dataframe with all z-scores less than absolute value of 3<\/span> \nno_outliers <- z_scores[!rowSums(z_scores>3), ]\n\n#view row and column count of new data frame<\/span>\ndim(no_outliers)\n\n[1] 994 3\n<\/strong><\/pre>\n #find Q1, Q3, and interquartile range for values in column A<\/span>\nQ1 <- quantile(df$A, .25)\nQ3 <- quantile(df$A, .75)\nIQR <- IQR(df$A)\n\n#only keep rows in dataframe that have values within 1.5*IQR of Q1 and Q3<\/span>\nno_outliers <- subset(df, df$A> (Q1 - 1.5*IQR) & df$A< (Q3 + 1.5*IQR))\n\n#view row and column count of new data frame\n<\/span>dim(no_outliers) \n\n[1] 994 3<\/strong><\/pre>\n Wann Ausrei\u00dfer entfernt werden sollten<\/strong><\/h3>\n
Zus\u00e4tzliche Ressourcen<\/strong><\/span><\/h3>\n