{"id":830,"date":"2023-07-28T14:58:44","date_gmt":"2023-07-28T14:58:44","guid":{"rendered":"https:\/\/statorials.org\/nl\/verwijder-uitschieters-python\/"},"modified":"2023-07-28T14:58:44","modified_gmt":"2023-07-28T14:58:44","slug":"verwijder-uitschieters-python","status":"publish","type":"post","link":"https:\/\/statorials.org\/nl\/verwijder-uitschieters-python\/","title":{"rendered":"Hoe uitschieters in python te verwijderen"},"content":{"rendered":"<p><\/p>\n<hr>\n<p><span style=\"color: #000000;\">Een <strong>uitschieter<\/strong> is een waarneming die abnormaal ver verwijderd is van andere waarden in een dataset. Uitschieters kunnen problematisch zijn omdat ze de resultaten van een analyse kunnen be\u00efnvloeden.<\/span><\/p>\n<p> <span style=\"color: #000000;\">In deze tutorial wordt uitgelegd hoe u uitschieters in Python kunt identificeren en verwijderen.<\/span><\/p>\n<h3> <span style=\"color: #000000;\"><strong>Hoe uitschieters in Python te identificeren<\/strong><\/span><\/h3>\n<p> <span style=\"color: #000000;\">Voordat u uitbijters kunt verwijderen, moet u eerst beslissen wat u als een uitbijter beschouwt. Er zijn twee veel voorkomende manieren om dit te doen:<\/span><\/p>\n<p> <span style=\"color: #000000;\"><strong>1. Gebruik het interkwartielbereik.<\/strong><\/span><\/p>\n<p> <span style=\"color: #000000;\">De interkwartielafstand (IQR) is het verschil tussen het 75e percentiel (Q3) en het 25e percentiel (Q1) in een dataset. Het meet de verdeling van de gemiddelde 50% van de waarden.<\/span><\/p>\n<p> <span style=\"color: #000000;\">Je kunt een waarneming als uitschieter defini\u00ebren als deze 1,5 maal de interkwartielafstand boven het derde kwartiel (Q3) of 1,5 maal de interkwartielafstand onder het eerste kwartiel (Q1) ligt.<\/span><\/p>\n<p> <span style=\"color: #000000;\"><strong>Uitschieters = Waarnemingen &gt; Q3 + 1,5*IQR of Q1 \u2013 1,5*IQR<\/strong><\/span><\/p>\n<p> <span style=\"color: #000000;\"><strong>2. Gebruik z-scores.<\/strong><\/span><\/p>\n<p> <span style=\"color: #000000;\">Een <a href=\"https:\/\/statorials.org\/nl\/z-score-python\/\" target=\"_blank\" rel=\"noopener\">z-score<\/a> vertelt u hoeveel standaarddeviaties een bepaalde waarde afwijkt van het gemiddelde. We gebruiken de volgende formule om een z-score te berekenen:<\/span><\/p>\n<p> <span style=\"color: #000000;\"><strong>z<\/strong> = (X \u2013 \u03bc) \/ \u03c3<\/span><\/p>\n<p> <span style=\"color: #000000;\">Goud:<\/span><\/p>\n<ul>\n<li> <span style=\"color: #000000;\">X is een enkele onbewerkte gegevenswaarde<\/span><\/li>\n<li> <span style=\"color: #000000;\">\u03bc is het populatiegemiddelde<\/span><\/li>\n<li> <span style=\"color: #000000;\">\u03c3 is de standaarddeviatie van de populatie<\/span><\/li>\n<\/ul>\n<p> <span style=\"color: #000000;\">U kunt een waarneming als uitschieter defini\u00ebren als de z-score kleiner dan -3 of groter dan 3 is.<\/span><\/p>\n<p> <span style=\"color: #000000;\"><strong>Uitschieters = Waarnemingen met z-scores &gt; 3 of &lt; -3<\/strong><\/span><\/p>\n<h3> <span style=\"color: #000000;\"><strong>Hoe uitschieters in Python te verwijderen<\/strong><\/span><\/h3>\n<p> <span style=\"color: #000000;\">Zodra u hebt besloten wat u als een uitbijter beschouwt, kunt u deze identificeren en uit een dataset verwijderen. Om te illustreren hoe dit te doen, zullen we de volgende panda&#8217;s DataFrame gebruiken:<\/span><\/p>\n<pre style=\"background-color: #ececec; font-size: 15px;\"> <strong><span style=\"color: #107d3f;\">import<\/span> numpy <span style=\"color: #107d3f;\">as<\/span> np\n<span style=\"color: #107d3f;\">import <span style=\"color: #000000;\">pandas<\/span> as <span style=\"color: #000000;\">pd<\/span> \nimport<\/span> scipy.stats <span style=\"color: #107d3f;\">as<\/span> stats\n\n<span style=\"color: #008080;\">#create dataframe with three columns 'A', 'B', 'C'<\/span>\nnp.random.seed(10)\ndata = pd.DataFrame(np.random.randint(0, 10, size=(100, 3)), columns=['A', 'B', 'C'])\n<span style=\"color: #008080;\">\n#view first 10 rows<\/span>\ndata[:10]\n\n           ABC\n0 13.315865 7.152790 -15.454003\n1 -0.083838 6.213360 -7.200856\n2 2.655116 1.085485 0.042914\n3 -1.746002 4.330262 12.030374\n4 -9.650657 10.282741 2.286301\n5 4.451376 -11.366022 1.351369\n6 14.845370 -10.798049 -19.777283\n7 -17.433723 2.660702 23.849673\n8 11.236913 16.726222 0.991492\n9 13.979964 -2.712480 6.132042\n<\/strong><\/pre>\n<p> <span style=\"color: #000000;\">We kunnen vervolgens uitschieters defini\u00ebren en verwijderen met behulp van de z-score-methode of de interkwartielbereikmethode:<\/span><\/p>\n<p> <span style=\"color: #000000;\"><strong>Z-score-methode:<\/strong><\/span><\/p>\n<pre style=\"background-color: #ececec; font-size: 15px;\"> <strong><span style=\"color: #008080;\">#find absolute value of z-score for each observation<\/span>\nz = np.abs(stats.zscore(data))\n\n<span style=\"color: #008080;\">#only keep rows in dataframe with all z-scores less than absolute value of 3<\/span> \ndata_clean = data[(z&lt;3).all(axis=1)]\n\n<span style=\"color: #008080;\">#find how many rows are left in the dataframe<\/span> \ndata_clean.shape\n\n(99.3)\n<\/strong><\/pre>\n<p> <span style=\"color: #000000;\"><strong>Interkwartielbereikmethode:<\/strong><\/span><\/p>\n<pre style=\"background-color: #ececec; font-size: 15px;\"> <strong><span style=\"color: #008080;\">#find Q1, Q3, and interquartile range for each column<\/span>\nQ1 = data.quantile(q=.25)\nQ3 = data.quantile(q=.75)\nIQR = data.apply(stats.iqr)\n\n<span style=\"color: #008080;\">#only keep rows in dataframe that have values within 1.5*IQR of Q1 and Q3<\/span>\ndata_clean = data[~((data &lt; (Q1-1.5*IQR)) | (data &gt; (Q3+1.5*IQR))).any(axis=1)]\n<span style=\"color: #008080;\">\n#find how many rows are left in the dataframe<\/span> \ndata_clean.shape\n\n(89.3)<\/strong><\/pre>\n<p> <span style=\"color: #000000;\">We kunnen zien dat de za-scoremethode \u00e9\u00e9n observatie als uitschieter identificeerde en verwijderde, terwijl de interkwartielbereikmethode in totaal 11 observaties als uitschieters identificeerde en verwijderde.<\/span><\/p>\n<h3> <strong>Wanneer uitschieters verwijderen?<\/strong><\/h3>\n<p> <span style=\"color: #000000;\">Als er \u00e9\u00e9n of meer uitschieters in uw gegevens aanwezig zijn, moet u er eerst voor zorgen dat deze niet het gevolg zijn van een gegevensinvoerfout. Soms voert een individu eenvoudigweg de verkeerde gegevenswaarde in terwijl hij de gegevens opslaat.<\/span><\/p>\n<p> <span style=\"color: #000000;\">Als de uitbijter het resultaat blijkt te zijn van een gegevensinvoerfout, kunt u besluiten om er een nieuwe waarde aan toe te kennen, zoals<\/span> <a href=\"https:\/\/statorials.org\/nl\/meet-de-centrale-tendens\/\" target=\"_blank\" rel=\"noopener\">het gemiddelde of de mediaan<\/a> <span style=\"color: #000000;\">van de dataset.<\/span><\/p>\n<p> <span style=\"color: #000000;\">Als de waarde echt een uitschieter is, kunt u ervoor kiezen deze te verwijderen als deze een aanzienlijke impact heeft op uw algehele analyse. Zorg ervoor dat u in uw eindrapport of analyse vermeldt dat u een uitbijter hebt verwijderd.<\/span><\/p>\n<h3> <span style=\"color: #000000;\"><strong>Aanvullende bronnen<\/strong><\/span><\/h3>\n<p> <span style=\"color: #000000;\">Als u met meerdere variabelen tegelijk werkt, wilt u wellicht <a href=\"https:\/\/statorials.org\/nl\/mahalanobis-afgelegen-python\/\" target=\"_blank\" rel=\"noopener\">de Mahalanobis-afstand<\/a> gebruiken om uitschieters te detecteren.<\/span><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Een uitschieter is een waarneming die abnormaal ver verwijderd is van andere waarden in een dataset. Uitschieters kunnen problematisch zijn omdat ze de resultaten van een analyse kunnen be\u00efnvloeden. In deze tutorial wordt uitgelegd hoe u uitschieters in Python kunt identificeren en verwijderen. Hoe uitschieters in Python te identificeren Voordat u uitbijters kunt verwijderen, moet [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"class_list":["post-830","post","type-post","status-publish","format-standard","hentry","category-gids"],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v21.5 - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Hoe uitschieters in Python te verwijderen \u2013 Statorials<\/title>\n<meta name=\"description\" content=\"Een eenvoudige uitleg over het identificeren en verwijderen van uitschieters in Python.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/statorials.org\/nl\/verwijder-uitschieters-python\/\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Hoe uitschieters in Python te verwijderen \u2013 Statorials\" \/>\n<meta property=\"og:description\" content=\"Een eenvoudige uitleg over het identificeren en verwijderen van uitschieters in Python.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/statorials.org\/nl\/verwijder-uitschieters-python\/\" \/>\n<meta property=\"og:site_name\" content=\"Statorials\" \/>\n<meta property=\"article:published_time\" content=\"2023-07-28T14:58:44+00:00\" \/>\n<meta name=\"author\" content=\"Dr.benjamin anderson\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Dr.benjamin anderson\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"3\u00a0Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/statorials.org\/nl\/verwijder-uitschieters-python\/\",\"url\":\"https:\/\/statorials.org\/nl\/verwijder-uitschieters-python\/\",\"name\":\"Hoe uitschieters in Python te verwijderen \u2013 Statorials\",\"isPartOf\":{\"@id\":\"https:\/\/statorials.org\/nl\/#website\"},\"datePublished\":\"2023-07-28T14:58:44+00:00\",\"dateModified\":\"2023-07-28T14:58:44+00:00\",\"author\":{\"@id\":\"https:\/\/statorials.org\/nl\/#\/schema\/person\/d4b8842173cca1bb62cdec41860e4219\"},\"description\":\"Een eenvoudige uitleg over het identificeren en verwijderen van uitschieters in Python.\",\"breadcrumb\":{\"@id\":\"https:\/\/statorials.org\/nl\/verwijder-uitschieters-python\/#breadcrumb\"},\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/statorials.org\/nl\/verwijder-uitschieters-python\/\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/statorials.org\/nl\/verwijder-uitschieters-python\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Thuis\",\"item\":\"https:\/\/statorials.org\/nl\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Hoe uitschieters in python te verwijderen\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/statorials.org\/nl\/#website\",\"url\":\"https:\/\/statorials.org\/nl\/\",\"name\":\"Statorials\",\"description\":\"Uw gids voor statistische competentie\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/statorials.org\/nl\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"de\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/statorials.org\/nl\/#\/schema\/person\/d4b8842173cca1bb62cdec41860e4219\",\"name\":\"Dr.benjamin anderson\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/statorials.org\/nl\/#\/schema\/person\/image\/\",\"url\":\"http:\/\/statorials.org\/nl\/wp-content\/uploads\/2023\/10\/Dr.-Benjamin-Anderson-96x96.jpg\",\"contentUrl\":\"http:\/\/statorials.org\/nl\/wp-content\/uploads\/2023\/10\/Dr.-Benjamin-Anderson-96x96.jpg\",\"caption\":\"Dr.benjamin anderson\"},\"description\":\"Ik ben Benjamin, een gepensioneerde hoogleraar statistiek die nu een toegewijde Statorials-lesgever is. Ik heb uitgebreide ervaring en expertise op het gebied van statistiek en ik ben vastbesloten om mijn kennis te delen met studenten via Statorials. Lees verder\",\"sameAs\":[\"http:\/\/statorials.org\/nl\"]}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Hoe uitschieters in Python te verwijderen \u2013 Statorials","description":"Een eenvoudige uitleg over het identificeren en verwijderen van uitschieters in Python.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/statorials.org\/nl\/verwijder-uitschieters-python\/","og_locale":"de_DE","og_type":"article","og_title":"Hoe uitschieters in Python te verwijderen \u2013 Statorials","og_description":"Een eenvoudige uitleg over het identificeren en verwijderen van uitschieters in Python.","og_url":"https:\/\/statorials.org\/nl\/verwijder-uitschieters-python\/","og_site_name":"Statorials","article_published_time":"2023-07-28T14:58:44+00:00","author":"Dr.benjamin anderson","twitter_card":"summary_large_image","twitter_misc":{"Verfasst von":"Dr.benjamin anderson","Gesch\u00e4tzte Lesezeit":"3\u00a0Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/statorials.org\/nl\/verwijder-uitschieters-python\/","url":"https:\/\/statorials.org\/nl\/verwijder-uitschieters-python\/","name":"Hoe uitschieters in Python te verwijderen \u2013 Statorials","isPartOf":{"@id":"https:\/\/statorials.org\/nl\/#website"},"datePublished":"2023-07-28T14:58:44+00:00","dateModified":"2023-07-28T14:58:44+00:00","author":{"@id":"https:\/\/statorials.org\/nl\/#\/schema\/person\/d4b8842173cca1bb62cdec41860e4219"},"description":"Een eenvoudige uitleg over het identificeren en verwijderen van uitschieters in Python.","breadcrumb":{"@id":"https:\/\/statorials.org\/nl\/verwijder-uitschieters-python\/#breadcrumb"},"inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/statorials.org\/nl\/verwijder-uitschieters-python\/"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/statorials.org\/nl\/verwijder-uitschieters-python\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Thuis","item":"https:\/\/statorials.org\/nl\/"},{"@type":"ListItem","position":2,"name":"Hoe uitschieters in python te verwijderen"}]},{"@type":"WebSite","@id":"https:\/\/statorials.org\/nl\/#website","url":"https:\/\/statorials.org\/nl\/","name":"Statorials","description":"Uw gids voor statistische competentie","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/statorials.org\/nl\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"de"},{"@type":"Person","@id":"https:\/\/statorials.org\/nl\/#\/schema\/person\/d4b8842173cca1bb62cdec41860e4219","name":"Dr.benjamin anderson","image":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/statorials.org\/nl\/#\/schema\/person\/image\/","url":"http:\/\/statorials.org\/nl\/wp-content\/uploads\/2023\/10\/Dr.-Benjamin-Anderson-96x96.jpg","contentUrl":"http:\/\/statorials.org\/nl\/wp-content\/uploads\/2023\/10\/Dr.-Benjamin-Anderson-96x96.jpg","caption":"Dr.benjamin anderson"},"description":"Ik ben Benjamin, een gepensioneerde hoogleraar statistiek die nu een toegewijde Statorials-lesgever is. Ik heb uitgebreide ervaring en expertise op het gebied van statistiek en ik ben vastbesloten om mijn kennis te delen met studenten via Statorials. Lees verder","sameAs":["http:\/\/statorials.org\/nl"]}]}},"yoast_meta":{"yoast_wpseo_title":"","yoast_wpseo_metadesc":"","yoast_wpseo_canonical":""},"_links":{"self":[{"href":"https:\/\/statorials.org\/nl\/wp-json\/wp\/v2\/posts\/830","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/statorials.org\/nl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/statorials.org\/nl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/statorials.org\/nl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/statorials.org\/nl\/wp-json\/wp\/v2\/comments?post=830"}],"version-history":[{"count":0,"href":"https:\/\/statorials.org\/nl\/wp-json\/wp\/v2\/posts\/830\/revisions"}],"wp:attachment":[{"href":"https:\/\/statorials.org\/nl\/wp-json\/wp\/v2\/media?parent=830"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/statorials.org\/nl\/wp-json\/wp\/v2\/categories?post=830"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/statorials.org\/nl\/wp-json\/wp\/v2\/tags?post=830"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}