<\/p>\n
Um outlier<\/strong> \u00e9 uma observa\u00e7\u00e3o anormalmente distante de outros valores em um conjunto de dados. Valores discrepantes podem ser problem\u00e1ticos porque podem afetar os resultados de uma an\u00e1lise.<\/span><\/p>\n Este tutorial explica como identificar e remover outliers em R.<\/span><\/p>\n Antes de remover valores discrepantes, voc\u00ea deve primeiro decidir o que considera ser um valor discrepante. Existem duas maneiras comuns de fazer isso:<\/span><\/p>\n 1. Use o intervalo interquartil.<\/strong><\/span><\/p>\n O intervalo interquartil (IQR) \u00e9 a diferen\u00e7a entre o percentil 75 (Q3) e o percentil 25 (Q1) em um conjunto de dados. Mede a distribui\u00e7\u00e3o da m\u00e9dia de 50% dos valores.<\/span><\/p>\n Voc\u00ea pode definir uma observa\u00e7\u00e3o como discrepante se ela for 1,5 vezes o intervalo interquartil acima do terceiro quartil (Q3) ou 1,5 vezes o intervalo interquartil abaixo do primeiro quartil (Q1).<\/span><\/p>\n Outliers = Observa\u00e7\u00f5es > Q3 + 1,5*IQR ou < Q1 \u2013 1,5*IQR<\/strong><\/span><\/p>\n 2. Use pontua\u00e7\u00f5es z.<\/strong><\/span><\/p>\n Uma pontua\u00e7\u00e3o z<\/a> informa quantos desvios padr\u00e3o um determinado valor est\u00e1 da m\u00e9dia. Usamos a seguinte f\u00f3rmula para calcular uma pontua\u00e7\u00e3o z:<\/span><\/p>\n z<\/strong> = (X \u2013 \u03bc) \/ \u03c3<\/span><\/p>\n Ouro:<\/span><\/p>\n Voc\u00ea pode definir uma observa\u00e7\u00e3o como discrepante se sua pontua\u00e7\u00e3o z for menor que -3 ou maior que 3.<\/span><\/p>\n Outliers = Observa\u00e7\u00f5es com pontua\u00e7\u00f5es z > 3 ou < -3<\/strong><\/span><\/p>\n Depois de decidir o que voc\u00ea considera discrepante, voc\u00ea pode identific\u00e1-los e remov\u00ea-los de um conjunto de dados. Para ilustrar como fazer isso, usaremos o seguinte quadro de dados:<\/span><\/p>\n Podemos ent\u00e3o definir e remover valores discrepantes usando o m\u00e9todo z-score ou o m\u00e9todo do intervalo interquartil:<\/span><\/p>\n M\u00e9todo de pontua\u00e7\u00e3o Z:<\/strong><\/span><\/p>\n O c\u00f3digo a seguir mostra como calcular a pontua\u00e7\u00e3o z de cada valor em cada coluna do quadro de dados e, em seguida, remover as linhas que possuem pelo menos uma pontua\u00e7\u00e3o z com valor absoluto maior que 3:<\/span><\/p>\n O quadro de dados original tinha 1.000 linhas e 3 colunas. O novo quadro de dados possui 994 linhas e 3 colunas, o que nos indica que 6 linhas foram removidas porque tinham pelo menos um escore z com valor absoluto maior que 3 em uma de suas colunas.<\/span><\/p>\n M\u00e9todo de intervalo interquartil:<\/strong><\/span><\/p>\n Em alguns casos, podemos querer identificar apenas valores discrepantes em uma coluna de um quadro de dados. Por exemplo, digamos que queremos apenas remover linhas com valores discrepantes na coluna \u201cA\u201d do nosso quadro de dados.<\/span><\/p>\n O c\u00f3digo a seguir mostra como remover linhas do quadro de dados cujo valor na coluna “A” \u00e9 1,5 vezes o intervalo interquartil acima do terceiro quartil (Q3) ou 1,5 vezes o intervalo interquartil abaixo do primeiro quartil (Q1). .<\/span><\/p>\n O quadro de dados original tinha 1.000 linhas e 3 colunas. O novo quadro de dados tem 994 linhas e 3 colunas, o que nos indica que 6 linhas foram removidas porque continham pelo menos um valor discrepante na coluna A.<\/span><\/p>\n Se um ou mais valores discrepantes estiverem presentes, voc\u00ea dever\u00e1 primeiro verificar se eles n\u00e3o s\u00e3o resultado de um erro de entrada de dados. \u00c0s vezes, um indiv\u00edduo simplesmente insere o valor errado dos dados ao salvar os dados.<\/span><\/p>\n Se o valor discrepante for o resultado de um erro de entrada de dados, voc\u00ea pode decidir atribuir a ele um novo valor, como a m\u00e9dia ou mediana<\/a> do conjunto de dados.<\/span><\/p>\n Se o valor for realmente at\u00edpico, voc\u00ea poder\u00e1 optar por remov\u00ea-lo se ele tiver um impacto significativo em sua an\u00e1lise geral. Apenas certifique-se de mencionar em seu relat\u00f3rio ou an\u00e1lise final que voc\u00ea removeu um valor discrepante.<\/span><\/p>\n Neste tutorial, usamos rnorm()<\/strong> para gerar vetores de vari\u00e1veis aleat\u00f3rias normalmente distribu\u00eddas, dado um comprimento de vetor n<\/em> , uma m\u00e9dia populacional \u03bc<\/em> e um desvio padr\u00e3o populacional \u03c3<\/em> . Voc\u00ea pode aprender mais sobre esse recurso aqui<\/a> .<\/span><\/p>\n Como identificar outliers em R<\/strong><\/span><\/h3>\n
\n
Como remover outliers em R<\/strong><\/span><\/h3>\n
#make this example reproducible<\/span> \nset.seed(0)\n\n#create data frame with three columns A', 'B', 'C'<\/span> \ndf <- data.frame(A=rnorm(1000, mean=10, sd=3),\n B=rnorm(1000, mean=20, sd=3),\n C=rnorm(1000, mean=30, sd=3))\n\n#view first six rows of data frame<\/span>\nhead(df)\n ABC\n1 13.78886 19.13945 31.33304\n2 9.02130 25.52332 30.03579\n3 13.98940 19.52971 29.97216\n4 13.81729 15.83059 29.09287\n5 11.24392 15.58069 31.47707\n6 5.38015 19.79144 28.19184\n<\/strong><\/pre>\n #find absolute value of z-score for each value in each column<\/span>\nz_scores <- as.data.frame<\/span> (sapply(df, function(df) (abs(df-mean(df))\/sd(df))))\n\n#view first six rows of z_scores data frame\n<\/span>head(z_scores)\n\n ABC\n1 1.2813403 0.25350805 0.39419878\n2 0.3110243 1.80496734 0.05890232\n3 1.3483190 0.12766847 0.08112630\n4 1.2908343 1.32044506 0.38824414\n5 0.4313316 1.40102642 0.44450451\n6 1.5271674 0.04327186 0.70295309\n\n#only keep rows in dataframe with all z-scores less than absolute value of 3<\/span> \nno_outliers <- z_scores[!rowSums(z_scores>3), ]\n\n#view row and column count of new data frame<\/span>\ndim(no_outliers)\n\n[1] 994 3\n<\/strong><\/pre>\n #find Q1, Q3, and interquartile range for values in column A<\/span>\nQ1 <- quantile(df$A, .25)\nQ3 <- quantile(df$A, .75)\nIQR <- IQR(df$A)\n\n#only keep rows in dataframe that have values within 1.5*IQR of Q1 and Q3<\/span>\nno_outliers <- subset(df, df$A> (Q1 - 1.5*IQR) & df$A< (Q3 + 1.5*IQR))\n\n#view row and column count of new data frame\n<\/span>dim(no_outliers) \n\n[1] 994 3<\/strong><\/pre>\n Quando remover valores discrepantes<\/strong><\/h3>\n
Recursos adicionais<\/strong><\/span><\/h3>\n