{"id":2496,"date":"2023-07-22T00:42:48","date_gmt":"2023-07-22T00:42:48","guid":{"rendered":"https:\/\/statorials.org\/pt\/kl-divergencia-python\/"},"modified":"2023-07-22T00:42:48","modified_gmt":"2023-07-22T00:42:48","slug":"kl-divergencia-python","status":"publish","type":"post","link":"https:\/\/statorials.org\/pt\/kl-divergencia-python\/","title":{"rendered":"Como calcular a diverg\u00eancia kl em python (com exemplo)"},"content":{"rendered":"

<\/p>\n

\n

Nas estat\u00edsticas, a diverg\u00eancia Kullback-Leibler (KL)<\/strong> \u00e9 uma m\u00e9trica de dist\u00e2ncia que quantifica a diferen\u00e7a entre duas distribui\u00e7\u00f5es de probabilidade.<\/span><\/p>\n

Se tivermos duas distribui\u00e7\u00f5es de probabilidade, P e Q, geralmente escrevemos a diverg\u00eancia KL usando a nota\u00e7\u00e3o KL(P || Q), que significa “diverg\u00eancia de P de Q”.<\/span><\/p>\n

Calculamos usando a seguinte f\u00f3rmula:<\/span><\/p>\n

KL(P || Q) = \u03a3P(x) ln<\/em> (P(x) \/ Q(x))<\/span><\/p>\n

Se a diverg\u00eancia KL entre duas distribui\u00e7\u00f5es for zero, isso indica que as distribui\u00e7\u00f5es s\u00e3o id\u00eanticas.<\/span><\/p>\n

Podemos usar a fun\u00e7\u00e3o scipy.special.rel_entr()<\/a> para calcular a diverg\u00eancia KL entre duas distribui\u00e7\u00f5es de probabilidade em Python.<\/span><\/p>\n

O exemplo a seguir mostra como usar esta fun\u00e7\u00e3o na pr\u00e1tica.<\/span><\/p>\n

Exemplo: calculando a diverg\u00eancia KL em Python<\/strong><\/span><\/h3>\n

Suponha que temos as duas distribui\u00e7\u00f5es de probabilidade a seguir em Python:<\/span><\/p>\n

Nota<\/strong> : \u00c9 importante que as probabilidades de cada distribui\u00e7\u00e3o somam um.<\/span><\/p>\n

 #define two probability distributions\nP = [.05, .1, .2, .05, .15, .25, .08, .12]\nQ = [.3, .1, .2, .1, .1, .02, .08, .1]\n<\/span><\/span><\/strong><\/pre>\n
 Podemos usar o seguinte c\u00f3digo para calcular a diverg\u00eancia KL entre as duas distribui\u00e7\u00f5es:<\/span><\/p>\n
 from<\/span> scipy. special<\/span> import<\/span> rel_entr\n\n#calculate (P || Q)\n<\/span>sum(rel_entr(P, Q))\n\n0.589885181619163<\/span><\/span><\/strong><\/pre>\n
 A diverg\u00eancia KL da distribui\u00e7\u00e3o P da distribui\u00e7\u00e3o Q \u00e9 de aproximadamente 0,589<\/strong> .<\/span><\/p>\n
 Ent\u00e3o dir\u00edamos que a diverg\u00eancia KL \u00e9 de 0,589 nats<\/strong> .<\/span><\/p>\n
 Observe tamb\u00e9m que a diverg\u00eancia KL n\u00e3o \u00e9 uma m\u00e9trica sim\u00e9trica. Isto significa que se calcularmos a diverg\u00eancia KL da distribui\u00e7\u00e3o Q da distribui\u00e7\u00e3o P, provavelmente obteremos um valor diferente:<\/span><\/p>\n
 from<\/span> scipy. special<\/span> import<\/span> rel_entr\n\n#calculate (Q || P)\n<\/span>sum(rel_entr(Q, P))\n\n0.497549319448034<\/span><\/span><\/strong><\/pre>\n
 A diverg\u00eancia KL da distribui\u00e7\u00e3o Q da distribui\u00e7\u00e3o P \u00e9 de aproximadamente 0,497 nats<\/strong> .<\/span><\/p>\n
 Recursos adicionais<\/strong><\/span><\/h3>\n
 Os tutoriais a seguir explicam como realizar outras opera\u00e7\u00f5es comuns em Python:<\/span><\/p>\n
 Como criar uma matriz de correla\u00e7\u00e3o em Python<\/a>
 Como criar uma matriz de covari\u00e2ncia em Python<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"
Nas estat\u00edsticas, a diverg\u00eancia Kullback-Leibler (KL) \u00e9 uma m\u00e9trica de dist\u00e2ncia que quantifica a diferen\u00e7a entre duas distribui\u00e7\u00f5es de probabilidade. Se tivermos duas distribui\u00e7\u00f5es de probabilidade, P e Q, geralmente escrevemos a diverg\u00eancia KL usando a nota\u00e7\u00e3o KL(P || Q), que significa “diverg\u00eancia de P de Q”. Calculamos usando a seguinte f\u00f3rmula: KL(P || Q) […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"class_list":["post-2496","post","type-post","status-publish","format-standard","hentry","category-guia"],"yoast_head":"\nComo calcular a diverg\u00eancia KL em Python (com exemplo) - Estatologia<\/title>\n<meta name=\"description\" content=\"Este tutorial explica como calcular a diverg\u00eancia KL entre duas distribui\u00e7\u00f5es de probabilidade em Python, com um exemplo.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/statorials.org\/pt\/kl-divergencia-python\/\" \/>\n<meta property=\"og:locale\" content=\"pt_PT\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Como calcular a diverg\u00eancia KL em Python (com exemplo) - Estatologia\" \/>\n<meta property=\"og:description\" content=\"Este tutorial explica como calcular a diverg\u00eancia KL entre duas distribui\u00e7\u00f5es de probabilidade em Python, com um exemplo.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/statorials.org\/pt\/kl-divergencia-python\/\" \/>\n<meta property=\"og:site_name\" content=\"Statorials\" \/>\n<meta property=\"article:published_time\" content=\"2023-07-22T00:42:48+00:00\" \/>\n<meta name=\"author\" content=\"Dr. benjamim anderson\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Escrito por\" \/>\n\t<meta name=\"twitter:data1\" content=\"Dr. benjamim anderson\" \/>\n\t<meta name=\"twitter:label2\" content=\"Tempo estimado de leitura\" \/>\n\t<meta name=\"twitter:data2\" content=\"2 minutos\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/statorials.org\/pt\/kl-divergencia-python\/\",\"url\":\"https:\/\/statorials.org\/pt\/kl-divergencia-python\/\",\"name\":\"Como calcular a diverg\u00eancia KL em Python (com exemplo) - Estatologia\",\"isPartOf\":{\"@id\":\"https:\/\/statorials.org\/pt\/#website\"},\"datePublished\":\"2023-07-22T00:42:48+00:00\",\"dateModified\":\"2023-07-22T00:42:48+00:00\",\"author\":{\"@id\":\"https:\/\/statorials.org\/pt\/#\/schema\/person\/e08f98e8db95e0aa9c310e1b27c9c666\"},\"description\":\"Este tutorial explica como calcular a diverg\u00eancia KL entre duas distribui\u00e7\u00f5es de probabilidade em Python, com um exemplo.\",\"breadcrumb\":{\"@id\":\"https:\/\/statorials.org\/pt\/kl-divergencia-python\/#breadcrumb\"},\"inLanguage\":\"pt-PT\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/statorials.org\/pt\/kl-divergencia-python\/\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/statorials.org\/pt\/kl-divergencia-python\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Lar\",\"item\":\"https:\/\/statorials.org\/pt\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Como calcular a diverg\u00eancia kl em python (com exemplo)\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/statorials.org\/pt\/#website\",\"url\":\"https:\/\/statorials.org\/pt\/\",\"name\":\"Statorials\",\"description\":\"O seu guia para a literacia estat\u00edstica!\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/statorials.org\/pt\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"pt-PT\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/statorials.org\/pt\/#\/schema\/person\/e08f98e8db95e0aa9c310e1b27c9c666\",\"name\":\"Dr. benjamim anderson\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"pt-PT\",\"@id\":\"https:\/\/statorials.org\/pt\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/statorials.org\/pt\/wp-content\/uploads\/2023\/10\/Dr.-Benjamin-Anderson-96x96.jpg\",\"contentUrl\":\"https:\/\/statorials.org\/pt\/wp-content\/uploads\/2023\/10\/Dr.-Benjamin-Anderson-96x96.jpg\",\"caption\":\"Dr. benjamim anderson\"},\"description\":\"Ol\u00e1, sou Benjamin, um professor aposentado de estat\u00edstica que se tornou professor dedicado na Statorials. Com vasta experi\u00eancia e conhecimento na \u00e1rea de estat\u00edstica, estou empenhado em compartilhar meu conhecimento para capacitar os alunos por meio de Statorials. Saber mais\",\"sameAs\":[\"https:\/\/statorials.org\/pt\"]}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Como calcular a diverg\u00eancia KL em Python (com exemplo) - Estatologia","description":"Este tutorial explica como calcular a diverg\u00eancia KL entre duas distribui\u00e7\u00f5es de probabilidade em Python, com um exemplo.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/statorials.org\/pt\/kl-divergencia-python\/","og_locale":"pt_PT","og_type":"article","og_title":"Como calcular a diverg\u00eancia KL em Python (com exemplo) - Estatologia","og_description":"Este tutorial explica como calcular a diverg\u00eancia KL entre duas distribui\u00e7\u00f5es de probabilidade em Python, com um exemplo.","og_url":"https:\/\/statorials.org\/pt\/kl-divergencia-python\/","og_site_name":"Statorials","article_published_time":"2023-07-22T00:42:48+00:00","author":"Dr. benjamim anderson","twitter_card":"summary_large_image","twitter_misc":{"Escrito por":"Dr. benjamim anderson","Tempo estimado de leitura":"2 minutos"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/statorials.org\/pt\/kl-divergencia-python\/","url":"https:\/\/statorials.org\/pt\/kl-divergencia-python\/","name":"Como calcular a diverg\u00eancia KL em Python (com exemplo) - Estatologia","isPartOf":{"@id":"https:\/\/statorials.org\/pt\/#website"},"datePublished":"2023-07-22T00:42:48+00:00","dateModified":"2023-07-22T00:42:48+00:00","author":{"@id":"https:\/\/statorials.org\/pt\/#\/schema\/person\/e08f98e8db95e0aa9c310e1b27c9c666"},"description":"Este tutorial explica como calcular a diverg\u00eancia KL entre duas distribui\u00e7\u00f5es de probabilidade em Python, com um exemplo.","breadcrumb":{"@id":"https:\/\/statorials.org\/pt\/kl-divergencia-python\/#breadcrumb"},"inLanguage":"pt-PT","potentialAction":[{"@type":"ReadAction","target":["https:\/\/statorials.org\/pt\/kl-divergencia-python\/"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/statorials.org\/pt\/kl-divergencia-python\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Lar","item":"https:\/\/statorials.org\/pt\/"},{"@type":"ListItem","position":2,"name":"Como calcular a diverg\u00eancia kl em python (com exemplo)"}]},{"@type":"WebSite","@id":"https:\/\/statorials.org\/pt\/#website","url":"https:\/\/statorials.org\/pt\/","name":"Statorials","description":"O seu guia para a literacia estat\u00edstica!","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/statorials.org\/pt\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"pt-PT"},{"@type":"Person","@id":"https:\/\/statorials.org\/pt\/#\/schema\/person\/e08f98e8db95e0aa9c310e1b27c9c666","name":"Dr. benjamim anderson","image":{"@type":"ImageObject","inLanguage":"pt-PT","@id":"https:\/\/statorials.org\/pt\/#\/schema\/person\/image\/","url":"https:\/\/statorials.org\/pt\/wp-content\/uploads\/2023\/10\/Dr.-Benjamin-Anderson-96x96.jpg","contentUrl":"https:\/\/statorials.org\/pt\/wp-content\/uploads\/2023\/10\/Dr.-Benjamin-Anderson-96x96.jpg","caption":"Dr. benjamim anderson"},"description":"Ol\u00e1, sou Benjamin, um professor aposentado de estat\u00edstica que se tornou professor dedicado na Statorials. Com vasta experi\u00eancia e conhecimento na \u00e1rea de estat\u00edstica, estou empenhado em compartilhar meu conhecimento para capacitar os alunos por meio de Statorials. Saber mais","sameAs":["https:\/\/statorials.org\/pt"]}]}},"yoast_meta":{"yoast_wpseo_title":"","yoast_wpseo_metadesc":"","yoast_wpseo_canonical":""},"_links":{"self":[{"href":"https:\/\/statorials.org\/pt\/wp-json\/wp\/v2\/posts\/2496","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/statorials.org\/pt\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/statorials.org\/pt\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/statorials.org\/pt\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/statorials.org\/pt\/wp-json\/wp\/v2\/comments?post=2496"}],"version-history":[{"count":0,"href":"https:\/\/statorials.org\/pt\/wp-json\/wp\/v2\/posts\/2496\/revisions"}],"wp:attachment":[{"href":"https:\/\/statorials.org\/pt\/wp-json\/wp\/v2\/media?parent=2496"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/statorials.org\/pt\/wp-json\/wp\/v2\/categories?post=2496"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/statorials.org\/pt\/wp-json\/wp\/v2\/tags?post=2496"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
 Nota<\/strong> : Algumas f\u00f3rmulas usam log base 2 para calcular a diverg\u00eancia KL. Neste caso estamos falando de diverg\u00eancia em termos de bits<\/a> e n\u00e3o de nats.<\/span><\/p>\n
 Observe que as unidades usadas neste c\u00e1lculo s\u00e3o conhecidas como nats<\/a> , que \u00e9 a abrevia\u00e7\u00e3o de unidade natural de informa\u00e7\u00e3o<\/em> .<\/span><\/p>\n