{"id":830,"date":"2023-07-28T14:58:44","date_gmt":"2023-07-28T14:58:44","guid":{"rendered":"https:\/\/statorials.org\/it\/rimuovere-i-valori-anomali-di-python\/"},"modified":"2023-07-28T14:58:44","modified_gmt":"2023-07-28T14:58:44","slug":"rimuovere-i-valori-anomali-di-python","status":"publish","type":"post","link":"https:\/\/statorials.org\/it\/rimuovere-i-valori-anomali-di-python\/","title":{"rendered":"Come rimuovere i valori anomali in python"},"content":{"rendered":"<p><\/p>\n<hr>\n<p><span style=\"color: #000000;\">Un <strong>valore anomalo<\/strong> \u00e8 un&#8217;osservazione anormalmente distante da altri valori in un set di dati. I valori anomali possono essere problematici perch\u00e9 possono influenzare i risultati di un&#8217;analisi.<\/span><\/p>\n<p> <span style=\"color: #000000;\">Questo tutorial spiega come identificare e rimuovere i valori anomali in Python.<\/span><\/p>\n<h3> <span style=\"color: #000000;\"><strong>Come identificare i valori anomali in Python<\/strong><\/span><\/h3>\n<p> <span style=\"color: #000000;\">Prima di poter rimuovere i valori anomali, \u00e8 necessario decidere cosa considerare come valore anomalo. Esistono due modi comuni per eseguire questa operazione:<\/span><\/p>\n<p> <span style=\"color: #000000;\"><strong>1. Utilizzare l&#8217;intervallo interquartile.<\/strong><\/span><\/p>\n<p> <span style=\"color: #000000;\">L&#8217;intervallo interquartile (IQR) \u00e8 la differenza tra il 75\u00b0 percentile (Q3) e il 25\u00b0 percentile (Q1) in un set di dati. Misura la distribuzione media del 50% dei valori.<\/span><\/p>\n<p> <span style=\"color: #000000;\">\u00c8 possibile definire un&#8217;osservazione come valore anomalo se \u00e8 1,5 volte l&#8217;intervallo interquartile al di sopra del terzo quartile (Q3) o 1,5 volte l&#8217;intervallo interquartile al di sotto del primo quartile (Q1).<\/span><\/p>\n<p> <span style=\"color: #000000;\"><strong>Valori anomali = Osservazioni &gt; Q3 + 1,5*IQR o Q1 \u2013 1,5*IQR<\/strong><\/span><\/p>\n<p> <span style=\"color: #000000;\"><strong>2. Usa i punteggi z.<\/strong><\/span><\/p>\n<p> <span style=\"color: #000000;\">Un <a href=\"https:\/\/statorials.org\/it\/z-punteggio-pitone\/\" target=\"_blank\" rel=\"noopener\">punteggio z<\/a> ti dice quante deviazioni standard un dato valore \u00e8 dalla media. Usiamo la seguente formula per calcolare uno z-score:<\/span><\/p>\n<p> <span style=\"color: #000000;\"><strong>z<\/strong> = (X \u2013 \u03bc) \/ \u03c3<\/span><\/p>\n<p> <span style=\"color: #000000;\">Oro:<\/span><\/p>\n<ul>\n<li> <span style=\"color: #000000;\">X \u00e8 un singolo valore di dati grezzi<\/span><\/li>\n<li> <span style=\"color: #000000;\">\u03bc \u00e8 la media della popolazione<\/span><\/li>\n<li> <span style=\"color: #000000;\">\u03c3 \u00e8 la deviazione standard della popolazione<\/span><\/li>\n<\/ul>\n<p> <span style=\"color: #000000;\">\u00c8 possibile definire un&#8217;osservazione come un valore anomalo se il suo punteggio z \u00e8 inferiore a -3 o superiore a 3.<\/span><\/p>\n<p> <span style=\"color: #000000;\"><strong>Valori anomali = Osservazioni con punteggi z &gt; 3 o &lt; -3<\/strong><\/span><\/p>\n<h3> <span style=\"color: #000000;\"><strong>Come rimuovere i valori anomali in Python<\/strong><\/span><\/h3>\n<p> <span style=\"color: #000000;\">Una volta deciso cosa considerare un valore anomalo, \u00e8 possibile identificarlo e rimuoverlo da un set di dati. Per illustrare come eseguire questa operazione, utilizzeremo il seguente DataFrame panda:<\/span><\/p>\n<pre style=\"background-color: #ececec; font-size: 15px;\"> <strong><span style=\"color: #107d3f;\">import<\/span> numpy <span style=\"color: #107d3f;\">as<\/span> np\n<span style=\"color: #107d3f;\">import <span style=\"color: #000000;\">pandas<\/span> as <span style=\"color: #000000;\">pd<\/span> \nimport<\/span> scipy.stats <span style=\"color: #107d3f;\">as<\/span> stats\n\n<span style=\"color: #008080;\">#create dataframe with three columns 'A', 'B', 'C'<\/span>\nnp.random.seed(10)\ndata = pd.DataFrame(np.random.randint(0, 10, size=(100, 3)), columns=['A', 'B', 'C'])\n<span style=\"color: #008080;\">\n#view first 10 rows<\/span>\ndata[:10]\n\n           ABC\n0 13.315865 7.152790 -15.454003\n1 -0.083838 6.213360 -7.200856\n2 2.655116 1.085485 0.042914\n3 -1.746002 4.330262 12.030374\n4 -9.650657 10.282741 2.286301\n5 4.451376 -11.366022 1.351369\n6 14.845370 -10.798049 -19.777283\n7 -17.433723 2.660702 23.849673\n8 11.236913 16.726222 0.991492\n9 13.979964 -2.712480 6.132042\n<\/strong><\/pre>\n<p> <span style=\"color: #000000;\">Possiamo quindi definire e rimuovere i valori anomali utilizzando il metodo z-score o il metodo dell&#8217;intervallo interquartile:<\/span><\/p>\n<p> <span style=\"color: #000000;\"><strong>Metodo del punteggio Z:<\/strong><\/span><\/p>\n<pre style=\"background-color: #ececec; font-size: 15px;\"> <strong><span style=\"color: #008080;\">#find absolute value of z-score for each observation<\/span>\nz = np.abs(stats.zscore(data))\n\n<span style=\"color: #008080;\">#only keep rows in dataframe with all z-scores less than absolute value of 3<\/span> \ndata_clean = data[(z&lt;3).all(axis=1)]\n\n<span style=\"color: #008080;\">#find how many rows are left in the dataframe<\/span> \ndata_clean.shape\n\n(99.3)\n<\/strong><\/pre>\n<p> <span style=\"color: #000000;\"><strong>Metodo dell&#8217;intervallo interquartile:<\/strong><\/span><\/p>\n<pre style=\"background-color: #ececec; font-size: 15px;\"> <strong><span style=\"color: #008080;\">#find Q1, Q3, and interquartile range for each column<\/span>\nQ1 = data.quantile(q=.25)\nQ3 = data.quantile(q=.75)\nIQR = data.apply(stats.iqr)\n\n<span style=\"color: #008080;\">#only keep rows in dataframe that have values within 1.5*IQR of Q1 and Q3<\/span>\ndata_clean = data[~((data &lt; (Q1-1.5*IQR)) | (data &gt; (Q3+1.5*IQR))).any(axis=1)]\n<span style=\"color: #008080;\">\n#find how many rows are left in the dataframe<\/span> \ndata_clean.shape\n\n(89.3)<\/strong><\/pre>\n<p> <span style=\"color: #000000;\">Possiamo vedere che il metodo del punteggio za ha identificato e rimosso un&#8217;osservazione come valore anomalo, mentre il metodo dell&#8217;intervallo interquartile ha identificato e rimosso 11 osservazioni in totale come valori anomali.<\/span><\/p>\n<h3> <strong>Quando rimuovere i valori anomali<\/strong><\/h3>\n<p> <span style=\"color: #000000;\">Se nei tuoi dati sono presenti uno o pi\u00f9 valori anomali, devi prima assicurarti che non siano il risultato di un errore di immissione dei dati. A volte un individuo inserisce semplicemente il valore dei dati errato durante il salvataggio dei dati.<\/span><\/p>\n<p> <span style=\"color: #000000;\">Se l&#8217;outlier risulta essere il risultato di un errore di immissione dei dati, puoi decidere di assegnargli un nuovo valore come<\/span> <a href=\"https:\/\/statorials.org\/it\/misura-la-tendenza-centrale\/\" target=\"_blank\" rel=\"noopener\">la media o la mediana<\/a> <span style=\"color: #000000;\">del set di dati.<\/span><\/p>\n<p> <span style=\"color: #000000;\">Se il valore \u00e8 davvero un valore anomalo, puoi scegliere di rimuoverlo se avr\u00e0 un impatto significativo sull&#8217;analisi complessiva. Assicurati solo di menzionare nel rapporto finale o nell&#8217;analisi che hai rimosso un valore anomalo.<\/span><\/p>\n<h3> <span style=\"color: #000000;\"><strong>Risorse addizionali<\/strong><\/span><\/h3>\n<p> <span style=\"color: #000000;\">Se lavori con pi\u00f9 variabili contemporaneamente, potresti voler utilizzare <a href=\"https:\/\/statorials.org\/it\/pitone-remoto-mahalanobis\/\" target=\"_blank\" rel=\"noopener\">la distanza di Mahalanobis<\/a> per rilevare valori anomali.<\/span><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Un valore anomalo \u00e8 un&#8217;osservazione anormalmente distante da altri valori in un set di dati. I valori anomali possono essere problematici perch\u00e9 possono influenzare i risultati di un&#8217;analisi. Questo tutorial spiega come identificare e rimuovere i valori anomali in Python. Come identificare i valori anomali in Python Prima di poter rimuovere i valori anomali, \u00e8 [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v21.5 - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Come rimuovere i valori anomali in Python \u2013 Statorials<\/title>\n<meta name=\"description\" content=\"Una semplice spiegazione su come identificare e rimuovere i valori anomali in Python.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/statorials.org\/it\/rimuovere-i-valori-anomali-di-python\/\" \/>\n<meta property=\"og:locale\" content=\"it_IT\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Come rimuovere i valori anomali in Python \u2013 Statorials\" \/>\n<meta property=\"og:description\" content=\"Una semplice spiegazione su come identificare e rimuovere i valori anomali in Python.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/statorials.org\/it\/rimuovere-i-valori-anomali-di-python\/\" \/>\n<meta property=\"og:site_name\" content=\"Statorials\" \/>\n<meta property=\"article:published_time\" content=\"2023-07-28T14:58:44+00:00\" \/>\n<meta name=\"author\" content=\"Benjamin anderson\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Written by\" \/>\n\t<meta name=\"twitter:data1\" content=\"Benjamin anderson\" \/>\n\t<meta name=\"twitter:label2\" content=\"Est. reading time\" \/>\n\t<meta name=\"twitter:data2\" content=\"3 minuti\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/statorials.org\/it\/rimuovere-i-valori-anomali-di-python\/\",\"url\":\"https:\/\/statorials.org\/it\/rimuovere-i-valori-anomali-di-python\/\",\"name\":\"Come rimuovere i valori anomali in Python \u2013 Statorials\",\"isPartOf\":{\"@id\":\"https:\/\/statorials.org\/it\/#website\"},\"datePublished\":\"2023-07-28T14:58:44+00:00\",\"dateModified\":\"2023-07-28T14:58:44+00:00\",\"author\":{\"@id\":\"https:\/\/statorials.org\/it\/#\/schema\/person\/0896f191fb9fb019f2cd8623112cb3ae\"},\"description\":\"Una semplice spiegazione su come identificare e rimuovere i valori anomali in Python.\",\"breadcrumb\":{\"@id\":\"https:\/\/statorials.org\/it\/rimuovere-i-valori-anomali-di-python\/#breadcrumb\"},\"inLanguage\":\"it-IT\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/statorials.org\/it\/rimuovere-i-valori-anomali-di-python\/\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/statorials.org\/it\/rimuovere-i-valori-anomali-di-python\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Casa\",\"item\":\"https:\/\/statorials.org\/it\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Come rimuovere i valori anomali in python\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/statorials.org\/it\/#website\",\"url\":\"https:\/\/statorials.org\/it\/\",\"name\":\"Statorials\",\"description\":\"La tua guida all&#039;alfabetizzazione statistica!\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/statorials.org\/it\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"it-IT\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/statorials.org\/it\/#\/schema\/person\/0896f191fb9fb019f2cd8623112cb3ae\",\"name\":\"Benjamin anderson\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"it-IT\",\"@id\":\"https:\/\/statorials.org\/it\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/statorials.org\/it\/wp-content\/uploads\/2023\/10\/Dr.-Benjamin-Anderson-96x96.jpg\",\"contentUrl\":\"https:\/\/statorials.org\/it\/wp-content\/uploads\/2023\/10\/Dr.-Benjamin-Anderson-96x96.jpg\",\"caption\":\"Benjamin anderson\"},\"description\":\"Ciao, sono Benjamin, un professore di statistica in pensione diventato insegnante dedicato di Statorials. Con una vasta esperienza e competenza nel campo della statistica, sono ansioso di condividere le mie conoscenze per potenziare gli studenti attraverso Statorials. Scopri di pi\u00f9\",\"sameAs\":[\"https:\/\/statorials.org\/it\"]}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Come rimuovere i valori anomali in Python \u2013 Statorials","description":"Una semplice spiegazione su come identificare e rimuovere i valori anomali in Python.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/statorials.org\/it\/rimuovere-i-valori-anomali-di-python\/","og_locale":"it_IT","og_type":"article","og_title":"Come rimuovere i valori anomali in Python \u2013 Statorials","og_description":"Una semplice spiegazione su come identificare e rimuovere i valori anomali in Python.","og_url":"https:\/\/statorials.org\/it\/rimuovere-i-valori-anomali-di-python\/","og_site_name":"Statorials","article_published_time":"2023-07-28T14:58:44+00:00","author":"Benjamin anderson","twitter_card":"summary_large_image","twitter_misc":{"Written by":"Benjamin anderson","Est. reading time":"3 minuti"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/statorials.org\/it\/rimuovere-i-valori-anomali-di-python\/","url":"https:\/\/statorials.org\/it\/rimuovere-i-valori-anomali-di-python\/","name":"Come rimuovere i valori anomali in Python \u2013 Statorials","isPartOf":{"@id":"https:\/\/statorials.org\/it\/#website"},"datePublished":"2023-07-28T14:58:44+00:00","dateModified":"2023-07-28T14:58:44+00:00","author":{"@id":"https:\/\/statorials.org\/it\/#\/schema\/person\/0896f191fb9fb019f2cd8623112cb3ae"},"description":"Una semplice spiegazione su come identificare e rimuovere i valori anomali in Python.","breadcrumb":{"@id":"https:\/\/statorials.org\/it\/rimuovere-i-valori-anomali-di-python\/#breadcrumb"},"inLanguage":"it-IT","potentialAction":[{"@type":"ReadAction","target":["https:\/\/statorials.org\/it\/rimuovere-i-valori-anomali-di-python\/"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/statorials.org\/it\/rimuovere-i-valori-anomali-di-python\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Casa","item":"https:\/\/statorials.org\/it\/"},{"@type":"ListItem","position":2,"name":"Come rimuovere i valori anomali in python"}]},{"@type":"WebSite","@id":"https:\/\/statorials.org\/it\/#website","url":"https:\/\/statorials.org\/it\/","name":"Statorials","description":"La tua guida all&#039;alfabetizzazione statistica!","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/statorials.org\/it\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"it-IT"},{"@type":"Person","@id":"https:\/\/statorials.org\/it\/#\/schema\/person\/0896f191fb9fb019f2cd8623112cb3ae","name":"Benjamin anderson","image":{"@type":"ImageObject","inLanguage":"it-IT","@id":"https:\/\/statorials.org\/it\/#\/schema\/person\/image\/","url":"https:\/\/statorials.org\/it\/wp-content\/uploads\/2023\/10\/Dr.-Benjamin-Anderson-96x96.jpg","contentUrl":"https:\/\/statorials.org\/it\/wp-content\/uploads\/2023\/10\/Dr.-Benjamin-Anderson-96x96.jpg","caption":"Benjamin anderson"},"description":"Ciao, sono Benjamin, un professore di statistica in pensione diventato insegnante dedicato di Statorials. Con una vasta esperienza e competenza nel campo della statistica, sono ansioso di condividere le mie conoscenze per potenziare gli studenti attraverso Statorials. Scopri di pi\u00f9","sameAs":["https:\/\/statorials.org\/it"]}]}},"yoast_meta":{"yoast_wpseo_title":"","yoast_wpseo_metadesc":"","yoast_wpseo_canonical":""},"_links":{"self":[{"href":"https:\/\/statorials.org\/it\/wp-json\/wp\/v2\/posts\/830"}],"collection":[{"href":"https:\/\/statorials.org\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/statorials.org\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/statorials.org\/it\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/statorials.org\/it\/wp-json\/wp\/v2\/comments?post=830"}],"version-history":[{"count":0,"href":"https:\/\/statorials.org\/it\/wp-json\/wp\/v2\/posts\/830\/revisions"}],"wp:attachment":[{"href":"https:\/\/statorials.org\/it\/wp-json\/wp\/v2\/media?parent=830"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/statorials.org\/it\/wp-json\/wp\/v2\/categories?post=830"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/statorials.org\/it\/wp-json\/wp\/v2\/tags?post=830"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}