{"id":831,"date":"2023-07-28T14:58:44","date_gmt":"2023-07-28T14:58:44","guid":{"rendered":"https:\/\/statorials.org\/id\/menghapus-pencilan-python\/"},"modified":"2023-07-28T14:58:44","modified_gmt":"2023-07-28T14:58:44","slug":"menghapus-pencilan-python","status":"publish","type":"post","link":"https:\/\/statorials.org\/id\/menghapus-pencilan-python\/","title":{"rendered":"Cara menghapus pencilan dengan python"},"content":{"rendered":"<p><\/p>\n<hr>\n<p><span style=\"color: #000000;\"><strong>Outlier<\/strong> adalah observasi yang jaraknya sangat jauh dari nilai lain dalam kumpulan data. Pencilan dapat menjadi masalah karena dapat mempengaruhi hasil analisis.<\/span><\/p>\n<p> <span style=\"color: #000000;\">Tutorial ini menjelaskan cara mengidentifikasi dan menghapus outlier dengan Python.<\/span><\/p>\n<h3> <span style=\"color: #000000;\"><strong>Cara Mengidentifikasi Pencilan dengan Python<\/strong><\/span><\/h3>\n<p> <span style=\"color: #000000;\">Sebelum Anda dapat menghapus outlier, Anda harus terlebih dahulu memutuskan apa yang Anda anggap sebagai outlier. Ada dua cara umum untuk melakukan ini:<\/span><\/p>\n<p> <span style=\"color: #000000;\"><strong>1. Gunakan rentang interkuartil.<\/strong><\/span><\/p>\n<p> <span style=\"color: #000000;\">Rentang interkuartil (IQR) adalah selisih antara persentil ke-75 (Q3) dan persentil ke-25 (Q1) dalam suatu kumpulan data. Ini mengukur distribusi rata-rata 50% nilai.<\/span><\/p>\n<p> <span style=\"color: #000000;\">Anda dapat mendefinisikan suatu observasi sebagai outlier jika observasi tersebut 1,5 kali rentang antarkuartil di atas kuartil ketiga (Q3) atau 1,5 kali rentang antarkuartil di bawah kuartil pertama (Q1).<\/span><\/p>\n<p> <span style=\"color: #000000;\"><strong>Pencilan = Pengamatan &gt; Q3 + 1,5*IQR atau Q1 \u2013 1,5*IQR<\/strong><\/span><\/p>\n<p> <span style=\"color: #000000;\"><strong>2. Gunakan skor-z.<\/strong><\/span><\/p>\n<p> <span style=\"color: #000000;\"><a href=\"https:\/\/statorials.org\/id\/z-skor-python\/\" target=\"_blank\" rel=\"noopener\">Skor-z<\/a> memberi tahu Anda berapa banyak deviasi standar suatu nilai tertentu dari mean. Kami menggunakan rumus berikut untuk menghitung skor-z:<\/span><\/p>\n<p> <span style=\"color: #000000;\"><strong>z<\/strong> = (X \u2013 \u03bc) \/ \u03c3<\/span><\/p>\n<p> <span style=\"color: #000000;\">Emas:<\/span><\/p>\n<ul>\n<li> <span style=\"color: #000000;\">X adalah nilai data mentah tunggal<\/span><\/li>\n<li> <span style=\"color: #000000;\">\u03bc adalah rata-rata populasi<\/span><\/li>\n<li> <span style=\"color: #000000;\">\u03c3 adalah simpangan baku populasi<\/span><\/li>\n<\/ul>\n<p> <span style=\"color: #000000;\">Anda dapat mendefinisikan suatu observasi sebagai outlier jika skor z-nya kurang dari -3 atau lebih besar dari 3.<\/span><\/p>\n<p> <span style=\"color: #000000;\"><strong>Pencilan = Pengamatan dengan skor z &gt; 3 atau &lt; -3<\/strong><\/span><\/p>\n<h3> <span style=\"color: #000000;\"><strong>Cara Menghapus Pencilan dengan Python<\/strong><\/span><\/h3>\n<p> <span style=\"color: #000000;\">Setelah Anda memutuskan apa yang Anda anggap sebagai outlier, Anda kemudian dapat mengidentifikasi dan menghapusnya dari kumpulan data. Untuk mengilustrasikan cara melakukan ini, kita akan menggunakan pandas DataFrame berikut:<\/span><\/p>\n<pre style=\"background-color: #ececec; font-size: 15px;\"> <strong><span style=\"color: #107d3f;\">import<\/span> numpy <span style=\"color: #107d3f;\">as<\/span> np\n<span style=\"color: #107d3f;\">import <span style=\"color: #000000;\">pandas<\/span> as <span style=\"color: #000000;\">pd<\/span> \nimport<\/span> scipy.stats <span style=\"color: #107d3f;\">as<\/span> stats\n\n<span style=\"color: #008080;\">#create dataframe with three columns 'A', 'B', 'C'<\/span>\nnp.random.seed(10)\ndata = pd.DataFrame(np.random.randint(0, 10, size=(100, 3)), columns=['A', 'B', 'C'])\n<span style=\"color: #008080;\">\n#view first 10 rows<\/span>\ndata[:10]\n\n           ABC\n0 13.315865 7.152790 -15.454003\n1 -0.083838 6.213360 -7.200856\n2 2.655116 1.085485 0.042914\n3 -1.746002 4.330262 12.030374\n4 -9.650657 10.282741 2.286301\n5 4.451376 -11.366022 1.351369\n6 14.845370 -10.798049 -19.777283\n7 -17.433723 2.660702 23.849673\n8 11.236913 16.726222 0.991492\n9 13.979964 -2.712480 6.132042\n<\/strong><\/pre>\n<p> <span style=\"color: #000000;\">Kita kemudian dapat mendefinisikan dan menghilangkan outlier menggunakan metode z-score atau metode rentang interkuartil:<\/span><\/p>\n<p> <span style=\"color: #000000;\"><strong>Metode skor Z:<\/strong><\/span><\/p>\n<pre style=\"background-color: #ececec; font-size: 15px;\"> <strong><span style=\"color: #008080;\">#find absolute value of z-score for each observation<\/span>\nz = np.abs(stats.zscore(data))\n\n<span style=\"color: #008080;\">#only keep rows in dataframe with all z-scores less than absolute value of 3<\/span> \ndata_clean = data[(z&lt;3).all(axis=1)]\n\n<span style=\"color: #008080;\">#find how many rows are left in the dataframe<\/span> \ndata_clean.shape\n\n(99.3)\n<\/strong><\/pre>\n<p> <span style=\"color: #000000;\"><strong>Metode rentang antarkuartil:<\/strong><\/span><\/p>\n<pre style=\"background-color: #ececec; font-size: 15px;\"> <strong><span style=\"color: #008080;\">#find Q1, Q3, and interquartile range for each column<\/span>\nQ1 = data.quantile(q=.25)\nQ3 = data.quantile(q=.75)\nIQR = data.apply(stats.iqr)\n\n<span style=\"color: #008080;\">#only keep rows in dataframe that have values within 1.5*IQR of Q1 and Q3<\/span>\ndata_clean = data[~((data &lt; (Q1-1.5*IQR)) | (data &gt; (Q3+1.5*IQR))).any(axis=1)]\n<span style=\"color: #008080;\">\n#find how many rows are left in the dataframe<\/span> \ndata_clean.shape\n\n(89.3)<\/strong><\/pre>\n<p> <span style=\"color: #000000;\">Kita dapat melihat bahwa metode skor za mengidentifikasi dan menghapus satu observasi sebagai outlier, sedangkan metode rentang interkuartil mengidentifikasi dan menghapus total 11 observasi sebagai outlier.<\/span><\/p>\n<h3> <strong>Kapan harus menghilangkan outlier<\/strong><\/h3>\n<p> <span style=\"color: #000000;\">Jika ada satu atau lebih outlier pada data Anda, pertama-tama Anda harus memastikan bahwa outlier tersebut bukan akibat kesalahan entri data. Terkadang seseorang memasukkan nilai data yang salah saat menyimpan data.<\/span><\/p>\n<p> <span style=\"color: #000000;\">Jika outlier ternyata disebabkan oleh kesalahan entri data, Anda dapat memutuskan untuk memberinya nilai baru seperti<\/span> <a href=\"https:\/\/statorials.org\/id\/mengukur-tendensi-sentral\/\" target=\"_blank\" rel=\"noopener\">mean atau median<\/a> <span style=\"color: #000000;\">kumpulan data.<\/span><\/p>\n<p> <span style=\"color: #000000;\">Jika nilainya benar-benar outlier, Anda dapat memilih untuk menghapusnya jika nilai tersebut akan berdampak signifikan pada analisis Anda secara keseluruhan. Pastikan untuk menyebutkan dalam laporan akhir atau analisis Anda bahwa Anda telah menghapus outlier.<\/span><\/p>\n<h3> <span style=\"color: #000000;\"><strong>Sumber daya tambahan<\/strong><\/span><\/h3>\n<p> <span style=\"color: #000000;\">Jika Anda bekerja dengan beberapa variabel sekaligus, Anda mungkin ingin menggunakan <a href=\"https:\/\/statorials.org\/id\/mahalanobis-ular-piton-jarak-jauh\/\" target=\"_blank\" rel=\"noopener\">jarak Mahalanobis<\/a> untuk mendeteksi outlier.<\/span><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Outlier adalah observasi yang jaraknya sangat jauh dari nilai lain dalam kumpulan data. Pencilan dapat menjadi masalah karena dapat mempengaruhi hasil analisis. Tutorial ini menjelaskan cara mengidentifikasi dan menghapus outlier dengan Python. Cara Mengidentifikasi Pencilan dengan Python Sebelum Anda dapat menghapus outlier, Anda harus terlebih dahulu memutuskan apa yang Anda anggap sebagai outlier. Ada dua [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v21.5 - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Cara Menghapus Pencilan dengan Python \u2013 Statologi<\/title>\n<meta name=\"description\" content=\"Penjelasan sederhana tentang cara mengidentifikasi dan menghapus outlier dengan Python.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/statorials.org\/id\/menghapus-pencilan-python\/\" \/>\n<meta property=\"og:locale\" content=\"id_ID\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Cara Menghapus Pencilan dengan Python \u2013 Statologi\" \/>\n<meta property=\"og:description\" content=\"Penjelasan sederhana tentang cara mengidentifikasi dan menghapus outlier dengan Python.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/statorials.org\/id\/menghapus-pencilan-python\/\" \/>\n<meta property=\"og:site_name\" content=\"Statorials\" \/>\n<meta property=\"article:published_time\" content=\"2023-07-28T14:58:44+00:00\" \/>\n<meta name=\"author\" content=\"Benjamin anderson\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Ditulis oleh\" \/>\n\t<meta name=\"twitter:data1\" content=\"Benjamin anderson\" \/>\n\t<meta name=\"twitter:label2\" content=\"Estimasi waktu membaca\" \/>\n\t<meta name=\"twitter:data2\" content=\"3 menit\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/statorials.org\/id\/menghapus-pencilan-python\/\",\"url\":\"https:\/\/statorials.org\/id\/menghapus-pencilan-python\/\",\"name\":\"Cara Menghapus Pencilan dengan Python \u2013 Statologi\",\"isPartOf\":{\"@id\":\"https:\/\/statorials.org\/id\/#website\"},\"datePublished\":\"2023-07-28T14:58:44+00:00\",\"dateModified\":\"2023-07-28T14:58:44+00:00\",\"author\":{\"@id\":\"https:\/\/statorials.org\/id\/#\/schema\/person\/3d17a1160dd2d052b7c78e502cb9ec81\"},\"description\":\"Penjelasan sederhana tentang cara mengidentifikasi dan menghapus outlier dengan Python.\",\"breadcrumb\":{\"@id\":\"https:\/\/statorials.org\/id\/menghapus-pencilan-python\/#breadcrumb\"},\"inLanguage\":\"id\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/statorials.org\/id\/menghapus-pencilan-python\/\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/statorials.org\/id\/menghapus-pencilan-python\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\/\/statorials.org\/id\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Cara menghapus pencilan dengan python\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/statorials.org\/id\/#website\",\"url\":\"https:\/\/statorials.org\/id\/\",\"name\":\"Statorials\",\"description\":\"Panduan anda untuk kompetensi statistik!\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/statorials.org\/id\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"id\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/statorials.org\/id\/#\/schema\/person\/3d17a1160dd2d052b7c78e502cb9ec81\",\"name\":\"Benjamin anderson\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"id\",\"@id\":\"https:\/\/statorials.org\/id\/#\/schema\/person\/image\/\",\"url\":\"http:\/\/statorials.org\/id\/wp-content\/uploads\/2023\/10\/Dr.-Benjamin-Anderson-96x96.jpg\",\"contentUrl\":\"http:\/\/statorials.org\/id\/wp-content\/uploads\/2023\/10\/Dr.-Benjamin-Anderson-96x96.jpg\",\"caption\":\"Benjamin anderson\"},\"description\":\"Halo, saya Benjamin, pensiunan profesor statistika yang menjadi guru Statorial yang berdedikasi. Dengan pengalaman dan keahlian yang luas di bidang statistika, saya ingin berbagi ilmu untuk memberdayakan mahasiswa melalui Statorials. Baca selengkapnya\",\"sameAs\":[\"http:\/\/statorials.org\/id\"]}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Cara Menghapus Pencilan dengan Python \u2013 Statologi","description":"Penjelasan sederhana tentang cara mengidentifikasi dan menghapus outlier dengan Python.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/statorials.org\/id\/menghapus-pencilan-python\/","og_locale":"id_ID","og_type":"article","og_title":"Cara Menghapus Pencilan dengan Python \u2013 Statologi","og_description":"Penjelasan sederhana tentang cara mengidentifikasi dan menghapus outlier dengan Python.","og_url":"https:\/\/statorials.org\/id\/menghapus-pencilan-python\/","og_site_name":"Statorials","article_published_time":"2023-07-28T14:58:44+00:00","author":"Benjamin anderson","twitter_card":"summary_large_image","twitter_misc":{"Ditulis oleh":"Benjamin anderson","Estimasi waktu membaca":"3 menit"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/statorials.org\/id\/menghapus-pencilan-python\/","url":"https:\/\/statorials.org\/id\/menghapus-pencilan-python\/","name":"Cara Menghapus Pencilan dengan Python \u2013 Statologi","isPartOf":{"@id":"https:\/\/statorials.org\/id\/#website"},"datePublished":"2023-07-28T14:58:44+00:00","dateModified":"2023-07-28T14:58:44+00:00","author":{"@id":"https:\/\/statorials.org\/id\/#\/schema\/person\/3d17a1160dd2d052b7c78e502cb9ec81"},"description":"Penjelasan sederhana tentang cara mengidentifikasi dan menghapus outlier dengan Python.","breadcrumb":{"@id":"https:\/\/statorials.org\/id\/menghapus-pencilan-python\/#breadcrumb"},"inLanguage":"id","potentialAction":[{"@type":"ReadAction","target":["https:\/\/statorials.org\/id\/menghapus-pencilan-python\/"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/statorials.org\/id\/menghapus-pencilan-python\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/statorials.org\/id\/"},{"@type":"ListItem","position":2,"name":"Cara menghapus pencilan dengan python"}]},{"@type":"WebSite","@id":"https:\/\/statorials.org\/id\/#website","url":"https:\/\/statorials.org\/id\/","name":"Statorials","description":"Panduan anda untuk kompetensi statistik!","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/statorials.org\/id\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"id"},{"@type":"Person","@id":"https:\/\/statorials.org\/id\/#\/schema\/person\/3d17a1160dd2d052b7c78e502cb9ec81","name":"Benjamin anderson","image":{"@type":"ImageObject","inLanguage":"id","@id":"https:\/\/statorials.org\/id\/#\/schema\/person\/image\/","url":"http:\/\/statorials.org\/id\/wp-content\/uploads\/2023\/10\/Dr.-Benjamin-Anderson-96x96.jpg","contentUrl":"http:\/\/statorials.org\/id\/wp-content\/uploads\/2023\/10\/Dr.-Benjamin-Anderson-96x96.jpg","caption":"Benjamin anderson"},"description":"Halo, saya Benjamin, pensiunan profesor statistika yang menjadi guru Statorial yang berdedikasi. Dengan pengalaman dan keahlian yang luas di bidang statistika, saya ingin berbagi ilmu untuk memberdayakan mahasiswa melalui Statorials. Baca selengkapnya","sameAs":["http:\/\/statorials.org\/id"]}]}},"yoast_meta":{"yoast_wpseo_title":"","yoast_wpseo_metadesc":"","yoast_wpseo_canonical":""},"_links":{"self":[{"href":"https:\/\/statorials.org\/id\/wp-json\/wp\/v2\/posts\/831"}],"collection":[{"href":"https:\/\/statorials.org\/id\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/statorials.org\/id\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/statorials.org\/id\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/statorials.org\/id\/wp-json\/wp\/v2\/comments?post=831"}],"version-history":[{"count":0,"href":"https:\/\/statorials.org\/id\/wp-json\/wp\/v2\/posts\/831\/revisions"}],"wp:attachment":[{"href":"https:\/\/statorials.org\/id\/wp-json\/wp\/v2\/media?parent=831"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/statorials.org\/id\/wp-json\/wp\/v2\/categories?post=831"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/statorials.org\/id\/wp-json\/wp\/v2\/tags?post=831"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}