{"id":2495,"date":"2023-07-22T00:42:48","date_gmt":"2023-07-22T00:42:48","guid":{"rendered":"https:\/\/statorials.org\/de\/kl-divergenz-python\/"},"modified":"2023-07-22T00:42:48","modified_gmt":"2023-07-22T00:42:48","slug":"kl-divergenz-python","status":"publish","type":"post","link":"https:\/\/statorials.org\/de\/kl-divergenz-python\/","title":{"rendered":"So berechnen sie die kl-divergenz in python (mit beispiel)"},"content":{"rendered":"

<\/p>\n

\n

In der Statistik ist die Kullback-Leibler-Divergenz (KL)<\/strong> eine Distanzmetrik, die den Unterschied zwischen zwei Wahrscheinlichkeitsverteilungen quantifiziert.<\/span><\/p>\n

Wenn wir zwei Wahrscheinlichkeitsverteilungen haben, P und Q, schreiben wir die KL-Divergenz im Allgemeinen mit der Notation KL(P || Q), was \u201eDivergenz von P von Q\u201c bedeutet.<\/span><\/p>\n

Wir berechnen es nach folgender Formel:<\/span><\/p>\n

KL(P || Q) = \u03a3P(x) ln<\/em> (P(x) \/ Q(x))<\/span><\/p>\n

Wenn die KL-Divergenz zwischen zwei Verteilungen Null ist, bedeutet dies, dass die Verteilungen identisch sind.<\/span><\/p>\n

Wir k\u00f6nnen die Funktion scipy.special.rel_entr()<\/a> verwenden, um die KL-Divergenz zwischen zwei Wahrscheinlichkeitsverteilungen in Python zu berechnen.<\/span><\/p>\n

Das folgende Beispiel zeigt, wie Sie diese Funktion in der Praxis nutzen k\u00f6nnen.<\/span><\/p>\n

Beispiel: Berechnung der KL-Divergenz in Python<\/strong><\/span><\/h3>\n

Angenommen, wir haben die folgenden zwei Wahrscheinlichkeitsverteilungen in Python:<\/span><\/p>\n

Hinweis<\/strong> : Es ist wichtig, dass die Wahrscheinlichkeiten jeder Verteilung eins ergeben.<\/span><\/p>\n

 #define two probability distributions\nP = [.05, .1, .2, .05, .15, .25, .08, .12]\nQ = [.3, .1, .2, .1, .1, .02, .08, .1]\n<\/span><\/span><\/strong><\/pre>\n
 Wir k\u00f6nnen den folgenden Code verwenden, um die KL-Divergenz zwischen den beiden Verteilungen zu berechnen:<\/span><\/p>\n
 from<\/span> scipy. special<\/span> import<\/span> rel_entr\n\n#calculate (P || Q)\n<\/span>sum(rel_entr(P, Q))\n\n0.589885181619163<\/span><\/span><\/strong><\/pre>\n
 Die KL-Divergenz der P-Verteilung von der Q-Verteilung betr\u00e4gt ungef\u00e4hr 0,589<\/strong> .<\/span><\/p>\n
 Wir w\u00fcrden also sagen, dass die KL-Divergenz 0,589 Nats<\/strong> betr\u00e4gt.<\/span><\/p>\n
 Beachten Sie auch, dass die KL-Divergenz keine symmetrische Metrik ist. Das hei\u00dft, wenn wir die KL-Divergenz der Q-Verteilung von der P-Verteilung berechnen, erhalten wir wahrscheinlich einen anderen Wert:<\/span><\/p>\n
 from<\/span> scipy. special<\/span> import<\/span> rel_entr\n\n#calculate (Q || P)\n<\/span>sum(rel_entr(Q, P))\n\n0.497549319448034<\/span><\/span><\/strong><\/pre>\n
 Die KL-Divergenz der Q-Verteilung von der P-Verteilung betr\u00e4gt ungef\u00e4hr 0,497 Nats<\/strong> .<\/span><\/p>\n
 Zus\u00e4tzliche Ressourcen<\/strong><\/span><\/h3>\n
 In den folgenden Tutorials wird erl\u00e4utert, wie Sie andere g\u00e4ngige Vorg\u00e4nge in Python ausf\u00fchren:<\/span><\/p>\n
 So erstellen Sie eine Korrelationsmatrix in Python<\/a>
 So erstellen Sie eine Kovarianzmatrix in Python<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"
In der Statistik ist die Kullback-Leibler-Divergenz (KL) eine Distanzmetrik, die den Unterschied zwischen zwei Wahrscheinlichkeitsverteilungen quantifiziert. Wenn wir zwei Wahrscheinlichkeitsverteilungen haben, P und Q, schreiben wir die KL-Divergenz im Allgemeinen mit der Notation KL(P || Q), was \u201eDivergenz von P von Q\u201c bedeutet. Wir berechnen es nach folgender Formel: KL(P || Q) = \u03a3P(x) ln […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"yoast_head":"\nSo berechnen Sie die KL-Divergenz in Python (mit Beispiel) \u2013 Statistik<\/title>\n<meta name=\"description\" content=\"In diesem Tutorial wird anhand eines Beispiels erl\u00e4utert, wie die KL-Divergenz zwischen zwei Wahrscheinlichkeitsverteilungen in Python berechnet wird.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/statorials.org\/de\/kl-divergenz-python\/\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"So berechnen Sie die KL-Divergenz in Python (mit Beispiel) \u2013 Statistik\" \/>\n<meta property=\"og:description\" content=\"In diesem Tutorial wird anhand eines Beispiels erl\u00e4utert, wie die KL-Divergenz zwischen zwei Wahrscheinlichkeitsverteilungen in Python berechnet wird.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/statorials.org\/de\/kl-divergenz-python\/\" \/>\n<meta property=\"og:site_name\" content=\"Statorials\" \/>\n<meta property=\"article:published_time\" content=\"2023-07-22T00:42:48+00:00\" \/>\n<meta name=\"author\" content=\"Dr. Benjamin Anderson\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Dr. Benjamin Anderson\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"2 Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/statorials.org\/de\/kl-divergenz-python\/\",\"url\":\"https:\/\/statorials.org\/de\/kl-divergenz-python\/\",\"name\":\"So berechnen Sie die KL-Divergenz in Python (mit Beispiel) \u2013 Statistik\",\"isPartOf\":{\"@id\":\"https:\/\/statorials.org\/de\/#website\"},\"datePublished\":\"2023-07-22T00:42:48+00:00\",\"dateModified\":\"2023-07-22T00:42:48+00:00\",\"author\":{\"@id\":\"https:\/\/statorials.org\/de\/#\/schema\/person\/ec75c4d6365f2708f8a0ad3a42121aa0\"},\"description\":\"In diesem Tutorial wird anhand eines Beispiels erl\u00e4utert, wie die KL-Divergenz zwischen zwei Wahrscheinlichkeitsverteilungen in Python berechnet wird.\",\"breadcrumb\":{\"@id\":\"https:\/\/statorials.org\/de\/kl-divergenz-python\/#breadcrumb\"},\"inLanguage\":\"de-DE\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/statorials.org\/de\/kl-divergenz-python\/\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/statorials.org\/de\/kl-divergenz-python\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Heim\",\"item\":\"https:\/\/statorials.org\/de\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"So berechnen sie die kl-divergenz in python (mit beispiel)\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/statorials.org\/de\/#website\",\"url\":\"https:\/\/statorials.org\/de\/\",\"name\":\"Statorials\",\"description\":\"Ihr Leitfaden f\u00fcr statistische Kompetenz !\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/statorials.org\/de\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"de-DE\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/statorials.org\/de\/#\/schema\/person\/ec75c4d6365f2708f8a0ad3a42121aa0\",\"name\":\"Dr. Benjamin Anderson\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de-DE\",\"@id\":\"https:\/\/statorials.org\/de\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/statorials.org\/de\/wp-content\/uploads\/2023\/11\/Benjamin-Anderson-96x96.jpg\",\"contentUrl\":\"https:\/\/statorials.org\/de\/wp-content\/uploads\/2023\/11\/Benjamin-Anderson-96x96.jpg\",\"caption\":\"Dr. Benjamin Anderson\"},\"description\":\"Hallo, ich bin Benjamin, ein pensionierter Statistikprofessor, der sich zum engagierten Statorials-Lehrer entwickelt hat. Mit umfassender Erfahrung und Fachwissen auf dem Gebiet der Statistik bin ich bestrebt, mein Wissen zu teilen, um Studenten durch Statorials zu bef\u00e4higen. Mehr wissen\",\"sameAs\":[\"https:\/\/statorials.org\/de\"]}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"So berechnen Sie die KL-Divergenz in Python (mit Beispiel) \u2013 Statistik","description":"In diesem Tutorial wird anhand eines Beispiels erl\u00e4utert, wie die KL-Divergenz zwischen zwei Wahrscheinlichkeitsverteilungen in Python berechnet wird.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/statorials.org\/de\/kl-divergenz-python\/","og_locale":"de_DE","og_type":"article","og_title":"So berechnen Sie die KL-Divergenz in Python (mit Beispiel) \u2013 Statistik","og_description":"In diesem Tutorial wird anhand eines Beispiels erl\u00e4utert, wie die KL-Divergenz zwischen zwei Wahrscheinlichkeitsverteilungen in Python berechnet wird.","og_url":"https:\/\/statorials.org\/de\/kl-divergenz-python\/","og_site_name":"Statorials","article_published_time":"2023-07-22T00:42:48+00:00","author":"Dr. Benjamin Anderson","twitter_card":"summary_large_image","twitter_misc":{"Verfasst von":"Dr. Benjamin Anderson","Gesch\u00e4tzte Lesezeit":"2 Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/statorials.org\/de\/kl-divergenz-python\/","url":"https:\/\/statorials.org\/de\/kl-divergenz-python\/","name":"So berechnen Sie die KL-Divergenz in Python (mit Beispiel) \u2013 Statistik","isPartOf":{"@id":"https:\/\/statorials.org\/de\/#website"},"datePublished":"2023-07-22T00:42:48+00:00","dateModified":"2023-07-22T00:42:48+00:00","author":{"@id":"https:\/\/statorials.org\/de\/#\/schema\/person\/ec75c4d6365f2708f8a0ad3a42121aa0"},"description":"In diesem Tutorial wird anhand eines Beispiels erl\u00e4utert, wie die KL-Divergenz zwischen zwei Wahrscheinlichkeitsverteilungen in Python berechnet wird.","breadcrumb":{"@id":"https:\/\/statorials.org\/de\/kl-divergenz-python\/#breadcrumb"},"inLanguage":"de-DE","potentialAction":[{"@type":"ReadAction","target":["https:\/\/statorials.org\/de\/kl-divergenz-python\/"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/statorials.org\/de\/kl-divergenz-python\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Heim","item":"https:\/\/statorials.org\/de\/"},{"@type":"ListItem","position":2,"name":"So berechnen sie die kl-divergenz in python (mit beispiel)"}]},{"@type":"WebSite","@id":"https:\/\/statorials.org\/de\/#website","url":"https:\/\/statorials.org\/de\/","name":"Statorials","description":"Ihr Leitfaden f\u00fcr statistische Kompetenz !","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/statorials.org\/de\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"de-DE"},{"@type":"Person","@id":"https:\/\/statorials.org\/de\/#\/schema\/person\/ec75c4d6365f2708f8a0ad3a42121aa0","name":"Dr. Benjamin Anderson","image":{"@type":"ImageObject","inLanguage":"de-DE","@id":"https:\/\/statorials.org\/de\/#\/schema\/person\/image\/","url":"https:\/\/statorials.org\/de\/wp-content\/uploads\/2023\/11\/Benjamin-Anderson-96x96.jpg","contentUrl":"https:\/\/statorials.org\/de\/wp-content\/uploads\/2023\/11\/Benjamin-Anderson-96x96.jpg","caption":"Dr. Benjamin Anderson"},"description":"Hallo, ich bin Benjamin, ein pensionierter Statistikprofessor, der sich zum engagierten Statorials-Lehrer entwickelt hat. Mit umfassender Erfahrung und Fachwissen auf dem Gebiet der Statistik bin ich bestrebt, mein Wissen zu teilen, um Studenten durch Statorials zu bef\u00e4higen. Mehr wissen","sameAs":["https:\/\/statorials.org\/de"]}]}},"yoast_meta":{"yoast_wpseo_title":"","yoast_wpseo_metadesc":"","yoast_wpseo_canonical":""},"_links":{"self":[{"href":"https:\/\/statorials.org\/de\/wp-json\/wp\/v2\/posts\/2495"}],"collection":[{"href":"https:\/\/statorials.org\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/statorials.org\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/statorials.org\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/statorials.org\/de\/wp-json\/wp\/v2\/comments?post=2495"}],"version-history":[{"count":0,"href":"https:\/\/statorials.org\/de\/wp-json\/wp\/v2\/posts\/2495\/revisions"}],"wp:attachment":[{"href":"https:\/\/statorials.org\/de\/wp-json\/wp\/v2\/media?parent=2495"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/statorials.org\/de\/wp-json\/wp\/v2\/categories?post=2495"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/statorials.org\/de\/wp-json\/wp\/v2\/tags?post=2495"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
 Hinweis<\/strong> : Einige Formeln verwenden den Logarithmus zur Basis 2, um die KL-Divergenz zu berechnen. In diesem Fall sprechen wir von Divergenz in Bezug auf Bits<\/a> und nicht auf Nats.<\/span><\/p>\n
 Beachten Sie, dass die in dieser Berechnung verwendeten Einheiten als Nats<\/a> bezeichnet werden, was f\u00fcr Natural Unit of Information<\/em> steht.<\/span><\/p>\n