<\/p>\n
Outlier<\/strong> adalah observasi yang jaraknya sangat jauh dari nilai lain dalam kumpulan data. Pencilan dapat menjadi masalah karena dapat mempengaruhi hasil analisis.<\/span><\/p>\n Tutorial ini menjelaskan cara mengidentifikasi dan menghapus outlier di R.<\/span><\/p>\n Sebelum Anda dapat menghapus outlier, Anda harus terlebih dahulu memutuskan apa yang Anda anggap sebagai outlier. Ada dua cara umum untuk melakukan ini:<\/span><\/p>\n 1. Gunakan rentang interkuartil.<\/strong><\/span><\/p>\n Rentang interkuartil (IQR) adalah selisih antara persentil ke-75 (Q3) dan persentil ke-25 (Q1) dalam suatu kumpulan data. Ini mengukur distribusi rata-rata 50% nilai.<\/span><\/p>\n Anda dapat mendefinisikan suatu observasi sebagai outlier jika observasi tersebut 1,5 kali rentang antarkuartil di atas kuartil ketiga (Q3) atau 1,5 kali rentang antarkuartil di bawah kuartil pertama (Q1).<\/span><\/p>\n Outlier = Pengamatan > Q3 + 1,5*IQR atau < Q1 \u2013 1,5*IQR<\/strong><\/span><\/p>\n 2. Gunakan skor-z.<\/strong><\/span><\/p>\n Skor-z<\/a> memberi tahu Anda berapa banyak deviasi standar suatu nilai tertentu dari mean. Kami menggunakan rumus berikut untuk menghitung skor-z:<\/span><\/p>\n z<\/strong> = (X \u2013 \u03bc) \/ \u03c3<\/span><\/p>\n Emas:<\/span><\/p>\n Anda dapat mendefinisikan suatu observasi sebagai outlier jika skor z-nya kurang dari -3 atau lebih besar dari 3.<\/span><\/p>\n Pencilan = Pengamatan dengan skor z > 3 atau < -3<\/strong><\/span><\/p>\n Setelah Anda memutuskan apa yang Anda anggap sebagai outlier, Anda kemudian dapat mengidentifikasi dan menghapusnya dari kumpulan data. Untuk mengilustrasikan cara melakukan ini, kami akan menggunakan kerangka data berikut:<\/span><\/p>\n Kita kemudian dapat mendefinisikan dan menghilangkan outlier menggunakan metode z-score atau metode rentang interkuartil:<\/span><\/p>\n Metode skor Z:<\/strong><\/span><\/p>\n Kode berikut menunjukkan cara menghitung skor-z dari setiap nilai di setiap kolom bingkai data dan kemudian menghapus baris yang memiliki setidaknya satu skor-z dengan nilai absolut lebih besar dari 3:<\/span><\/p>\n Bingkai data asli memiliki 1000 baris dan 3 kolom. Bingkai data baru memiliki 994 baris dan 3 kolom, yang menunjukkan bahwa 6 baris telah dihapus karena memiliki setidaknya satu skor-z dengan nilai absolut lebih besar dari 3 di salah satu kolomnya.<\/span><\/p>\n Metode rentang antarkuartil:<\/strong><\/span><\/p>\n Dalam beberapa kasus, kami mungkin hanya ingin mengidentifikasi outlier di kolom bingkai data. Misalnya, kita hanya ingin menghapus baris dengan outlier di kolom “A” pada bingkai data kita.<\/span><\/p>\n Kode berikut menunjukkan cara menghilangkan baris dari bingkai data yang nilainya pada kolom “A” adalah 1,5 kali rentang interkuartil di atas kuartil ketiga (Q3) atau 1,5 kali rentang interkuartil di bawah kuartil pertama (Q1). .<\/span><\/p>\n Bingkai data asli memiliki 1000 baris dan 3 kolom. Bingkai data baru memiliki 994 baris dan 3 kolom, yang menunjukkan bahwa 6 baris telah dihapus karena mengandung setidaknya satu outlier di kolom A.<\/span><\/p>\n Jika ada satu atau lebih outlier, pertama-tama Anda harus memverifikasi bahwa outlier tersebut bukan akibat kesalahan entri data. Terkadang seseorang memasukkan nilai data yang salah saat menyimpan data.<\/span><\/p>\n Jika outlier ternyata disebabkan oleh kesalahan entri data, Anda dapat memutuskan untuk memberinya nilai baru seperti mean atau median<\/a> kumpulan data.<\/span><\/p>\n Jika nilainya benar-benar outlier, Anda dapat memilih untuk menghapusnya jika nilai tersebut akan berdampak signifikan pada analisis Anda secara keseluruhan. Pastikan untuk menyebutkan dalam laporan akhir atau analisis Anda bahwa Anda telah menghapus outlier.<\/span><\/p>\n Dalam tutorial ini, kami menggunakan rnorm()<\/strong> untuk menghasilkan vektor variabel acak yang terdistribusi normal dengan panjang vektor n<\/em> , rata-rata populasi \u03bc<\/em> , dan deviasi standar populasi \u03c3<\/em> . Anda dapat mempelajari lebih lanjut tentang fitur ini di sini<\/a> .<\/span><\/p>\n Bagaimana mengidentifikasi outlier di R<\/strong><\/span><\/h3>\n
\n
Cara menghilangkan outlier di R<\/strong><\/span><\/h3>\n
#make this example reproducible<\/span> \nset.seed(0)\n\n#create data frame with three columns A', 'B', 'C'<\/span> \ndf <- data.frame(A=rnorm(1000, mean=10, sd=3),\n B=rnorm(1000, mean=20, sd=3),\n C=rnorm(1000, mean=30, sd=3))\n\n#view first six rows of data frame<\/span>\nhead(df)\n ABC\n1 13.78886 19.13945 31.33304\n2 9.02130 25.52332 30.03579\n3 13.98940 19.52971 29.97216\n4 13.81729 15.83059 29.09287\n5 11.24392 15.58069 31.47707\n6 5.38015 19.79144 28.19184\n<\/strong><\/pre>\n #find absolute value of z-score for each value in each column<\/span>\nz_scores <- as.data.frame<\/span> (sapply(df, function(df) (abs(df-mean(df))\/sd(df))))\n\n#view first six rows of z_scores data frame\n<\/span>head(z_scores)\n\n ABC\n1 1.2813403 0.25350805 0.39419878\n2 0.3110243 1.80496734 0.05890232\n3 1.3483190 0.12766847 0.08112630\n4 1.2908343 1.32044506 0.38824414\n5 0.4313316 1.40102642 0.44450451\n6 1.5271674 0.04327186 0.70295309\n\n#only keep rows in dataframe with all z-scores less than absolute value of 3<\/span> \nno_outliers <- z_scores[!rowSums(z_scores>3), ]\n\n#view row and column count of new data frame<\/span>\ndim(no_outliers)\n\n[1] 994 3\n<\/strong><\/pre>\n #find Q1, Q3, and interquartile range for values in column A<\/span>\nQ1 <- quantile(df$A, .25)\nQ3 <- quantile(df$A, .75)\nIQR <- IQR(df$A)\n\n#only keep rows in dataframe that have values within 1.5*IQR of Q1 and Q3<\/span>\nno_outliers <- subset(df, df$A> (Q1 - 1.5*IQR) & df$A< (Q3 + 1.5*IQR))\n\n#view row and column count of new data frame\n<\/span>dim(no_outliers) \n\n[1] 994 3<\/strong><\/pre>\n Kapan harus menghilangkan outlier<\/strong><\/h3>\n
Sumber daya tambahan<\/strong><\/span><\/h3>\n