<\/p>\n
Un valore anomalo<\/strong> \u00e8 un’osservazione anormalmente distante da altri valori in un set di dati. I valori anomali possono essere problematici perch\u00e9 possono influenzare i risultati di un’analisi.<\/span><\/p>\n Questo tutorial spiega come identificare e rimuovere i valori anomali in R.<\/span><\/p>\n Prima di poter rimuovere i valori anomali, \u00e8 necessario decidere cosa considerare come valore anomalo. Esistono due modi comuni per eseguire questa operazione:<\/span><\/p>\n 1. Utilizzare l’intervallo interquartile.<\/strong><\/span><\/p>\n L’intervallo interquartile (IQR) \u00e8 la differenza tra il 75\u00b0 percentile (Q3) e il 25\u00b0 percentile (Q1) in un set di dati. Misura la distribuzione media del 50% dei valori.<\/span><\/p>\n \u00c8 possibile definire un’osservazione come valore anomalo se \u00e8 1,5 volte l’intervallo interquartile al di sopra del terzo quartile (Q3) o 1,5 volte l’intervallo interquartile al di sotto del primo quartile (Q1).<\/span><\/p>\n Valori anomali = Osservazioni > Q3 + 1,5*IQR o < Q1 \u2013 1,5*IQR<\/strong><\/span><\/p>\n 2. Usa i punteggi z.<\/strong><\/span><\/p>\n Un punteggio z<\/a> ti dice quante deviazioni standard un dato valore \u00e8 dalla media. Usiamo la seguente formula per calcolare uno z-score:<\/span><\/p>\n z<\/strong> = (X \u2013 \u03bc) \/ \u03c3<\/span><\/p>\n Oro:<\/span><\/p>\n \u00c8 possibile definire un’osservazione come un valore anomalo se il suo punteggio z \u00e8 inferiore a -3 o superiore a 3.<\/span><\/p>\n Valori anomali = Osservazioni con punteggi z > 3 o < -3<\/strong><\/span><\/p>\n Una volta deciso cosa considerare un valore anomalo, \u00e8 possibile identificarlo e rimuoverlo da un set di dati. Per illustrare come eseguire questa operazione, utilizzeremo il seguente frame di dati:<\/span><\/p>\n Possiamo quindi definire e rimuovere i valori anomali utilizzando il metodo z-score o il metodo dell’intervallo interquartile:<\/span><\/p>\n Metodo del punteggio Z:<\/strong><\/span><\/p>\n Il codice seguente mostra come calcolare il punteggio z di ciascun valore in ciascuna colonna del frame di dati e quindi rimuovere le righe che hanno almeno un punteggio z con un valore assoluto maggiore di 3:<\/span><\/p>\n Il frame di dati originale aveva 1000 righe e 3 colonne. Il nuovo frame di dati ha 994 righe e 3 colonne, il che ci dice che 6 righe sono state rimosse perch\u00e9 avevano almeno un punteggio z con un valore assoluto maggiore di 3 in una delle colonne.<\/span><\/p>\n Metodo dell’intervallo interquartile:<\/strong><\/span><\/p>\n In alcuni casi, potremmo voler identificare solo i valori anomali in una colonna di un frame di dati. Ad esempio, supponiamo di voler rimuovere solo le righe con un valore anomalo nella colonna “A” del nostro frame di dati.<\/span><\/p>\n Il codice seguente mostra come rimuovere le righe dal frame di dati il cui valore nella colonna “A” \u00e8 1,5 volte l’intervallo interquartile sopra il terzo quartile (Q3) o 1,5 volte l’intervallo interquartile sotto il primo quartile (Q1). .<\/span><\/p>\n Il frame di dati originale aveva 1000 righe e 3 colonne. Il nuovo frame di dati ha 994 righe e 3 colonne, il che ci dice che 6 righe sono state rimosse perch\u00e9 contenevano almeno un valore anomalo nella colonna A.<\/span><\/p>\n Se sono presenti uno o pi\u00f9 valori anomali, \u00e8 necessario innanzitutto verificare che non siano il risultato di un errore di immissione dei dati. A volte un individuo inserisce semplicemente il valore dei dati errato durante il salvataggio dei dati.<\/span><\/p>\n Se l’outlier risulta essere il risultato di un errore di immissione dei dati, puoi decidere di assegnargli un nuovo valore come la media o la mediana<\/a> del set di dati.<\/span><\/p>\n Se il valore \u00e8 davvero un valore anomalo, puoi scegliere di rimuoverlo se avr\u00e0 un impatto significativo sull’analisi complessiva. Assicurati solo di menzionare nel rapporto finale o nell’analisi che hai rimosso un valore anomalo.<\/span><\/p>\n In questo tutorial, abbiamo utilizzato rnorm()<\/strong> per generare vettori di variabili casuali normalmente distribuite data una lunghezza del vettore n<\/em> , una media della popolazione \u03bc<\/em> e una deviazione standard della popolazione \u03c3<\/em> . Puoi saperne di pi\u00f9 su questa funzionalit\u00e0 qui<\/a> .<\/span><\/p>\n Come identificare i valori anomali in R<\/strong><\/span><\/h3>\n
\n
Come rimuovere gli outlier in R<\/strong><\/span><\/h3>\n
#make this example reproducible<\/span> \nset.seed(0)\n\n#create data frame with three columns A', 'B', 'C'<\/span> \ndf <- data.frame(A=rnorm(1000, mean=10, sd=3),\n B=rnorm(1000, mean=20, sd=3),\n C=rnorm(1000, mean=30, sd=3))\n\n#view first six rows of data frame<\/span>\nhead(df)\n ABC\n1 13.78886 19.13945 31.33304\n2 9.02130 25.52332 30.03579\n3 13.98940 19.52971 29.97216\n4 13.81729 15.83059 29.09287\n5 11.24392 15.58069 31.47707\n6 5.38015 19.79144 28.19184\n<\/strong><\/pre>\n #find absolute value of z-score for each value in each column<\/span>\nz_scores <- as.data.frame<\/span> (sapply(df, function(df) (abs(df-mean(df))\/sd(df))))\n\n#view first six rows of z_scores data frame\n<\/span>head(z_scores)\n\n ABC\n1 1.2813403 0.25350805 0.39419878\n2 0.3110243 1.80496734 0.05890232\n3 1.3483190 0.12766847 0.08112630\n4 1.2908343 1.32044506 0.38824414\n5 0.4313316 1.40102642 0.44450451\n6 1.5271674 0.04327186 0.70295309\n\n#only keep rows in dataframe with all z-scores less than absolute value of 3<\/span> \nno_outliers <- z_scores[!rowSums(z_scores>3), ]\n\n#view row and column count of new data frame<\/span>\ndim(no_outliers)\n\n[1] 994 3\n<\/strong><\/pre>\n #find Q1, Q3, and interquartile range for values in column A<\/span>\nQ1 <- quantile(df$A, .25)\nQ3 <- quantile(df$A, .75)\nIQR <- IQR(df$A)\n\n#only keep rows in dataframe that have values within 1.5*IQR of Q1 and Q3<\/span>\nno_outliers <- subset(df, df$A> (Q1 - 1.5*IQR) & df$A< (Q3 + 1.5*IQR))\n\n#view row and column count of new data frame\n<\/span>dim(no_outliers) \n\n[1] 994 3<\/strong><\/pre>\n Quando rimuovere i valori anomali<\/strong><\/h3>\n
Risorse addizionali<\/strong><\/span><\/h3>\n