{"id":3782,"date":"2023-07-15T14:06:42","date_gmt":"2023-07-15T14:06:42","guid":{"rendered":"https:\/\/statorials.org\/de\/kl-divergenz-in-r\/"},"modified":"2023-07-15T14:06:42","modified_gmt":"2023-07-15T14:06:42","slug":"kl-divergenz-in-r","status":"publish","type":"post","link":"https:\/\/statorials.org\/de\/kl-divergenz-in-r\/","title":{"rendered":"So berechnen sie die kl-divergenz in r (mit beispiel)"},"content":{"rendered":"

<\/p>\n

\n

In der Statistik ist die Kullback-Leibler-Divergenz (KL)<\/strong> eine Distanzmetrik, die den Unterschied zwischen zwei Wahrscheinlichkeitsverteilungen quantifiziert.<\/span><\/p>\n

Wenn wir zwei Wahrscheinlichkeitsverteilungen haben, P und Q, schreiben wir die KL-Divergenz im Allgemeinen mit der Notation KL(P || Q), was \u201eDivergenz von P von Q\u201c bedeutet.<\/span><\/p>\n

Wir berechnen es nach folgender Formel:<\/span><\/p>\n

KL(P || Q) = \u03a3P(x) ln<\/em> (P(x) \/ Q(x))<\/span><\/p>\n

Wenn die KL-Divergenz zwischen zwei Verteilungen Null ist, bedeutet dies, dass die Verteilungen identisch sind.<\/span><\/p>\n

Der einfachste Weg, die KL-Divergenz zwischen zwei Wahrscheinlichkeitsverteilungen in R zu berechnen, ist die Verwendung der Funktion KL()<\/strong> aus dem Philentropy-<\/strong> Paket.<\/span><\/p>\n

Das folgende Beispiel zeigt, wie Sie diese Funktion in der Praxis nutzen k\u00f6nnen.<\/span><\/p>\n

Beispiel: Berechnung der KL-Divergenz in R<\/strong><\/span><\/h2>\n

Angenommen, wir haben die folgenden zwei Wahrscheinlichkeitsverteilungen in R:<\/span><\/p>\n

 #define two probability distributions\nP <- c(.05, .1, .2, .05, .15, .25, .08, .12)\nQ <- c(.3, .1, .2, .1, .1, .02, .08, .1)\n<\/span><\/span><\/strong><\/pre>\n
 Hinweis<\/strong> : Es ist wichtig, dass die Wahrscheinlichkeiten jeder Verteilung eins ergeben.<\/span><\/p>\n
 Wir k\u00f6nnen den folgenden Code verwenden, um die KL-Divergenz zwischen den beiden Verteilungen zu berechnen:<\/span><\/p>\n
 library<\/span> (philentropy)\n\n#rbind distributions into one matrix\n<\/span>x <- rbind(P,Q)\n\n#calculate KL divergence\n<\/span>KL(x, unit=' log<\/span> ')\n\nMetric: 'kullback-leibler' using unit: 'log'; comparing: 2 vectors.\nkullback-leibler \n       0.5898852 \n<\/span><\/span><\/strong><\/pre>\n
 Die KL-Divergenz der P-Verteilung von der Q-Verteilung betr\u00e4gt ungef\u00e4hr 0,589<\/strong> .<\/span><\/p>\n
 Beachten Sie, dass die in dieser Berechnung verwendeten Einheiten als Nats<\/a> bezeichnet werden, was f\u00fcr Natural Unit of Information<\/em> steht.<\/span><\/p>\n
 Wir w\u00fcrden also sagen, dass die KL-Divergenz 0,589 Nats<\/strong> betr\u00e4gt.<\/span><\/p>\n
 Beachten Sie auch, dass die KL-Divergenz keine symmetrische Metrik ist. Das hei\u00dft, wenn wir die KL-Divergenz der Q-Verteilung von der P-Verteilung berechnen, erhalten wir wahrscheinlich einen anderen Wert:<\/span><\/p>\n
 library<\/span> (philentropy)\n\n#rbind distributions into one matrix\n<\/span>x <- rbind(Q,P)\n\n#calculate KL divergence\n<\/span>KL(x, unit=' log<\/span> ')\n\nMetric: 'kullback-leibler' using unit: 'log'; comparing: 2 vectors.\nkullback-leibler \n       0.4975493 \n<\/span><\/span><\/strong><\/pre>\n
 Die KL-Divergenz der Q-Verteilung von der P-Verteilung betr\u00e4gt ungef\u00e4hr 0,497 Nats<\/strong> .<\/span><\/p>\n
 Um die KL-Divergenz in Bits zu berechnen, k\u00f6nnen Sie log2 im Einheitenargument<\/strong> verwenden:<\/span><\/p>\n
 library<\/span> (philentropy)\n\n#rbind distributions into one matrix\n<\/span>x <- rbind(P,Q)\n\n#calculate KL divergence (in bits)\n<\/span>KL(x, unit=' log2<\/span> ')\n\nMetric: 'kullback-leibler' using unit: 'log2'; comparing: 2 vectors.\nkullback-leibler \n       0.7178119\n<\/span><\/span><\/strong><\/pre>\n
 Die KL-Divergenz der P-Verteilung von der Q-Verteilung betr\u00e4gt etwa 0,7178 Bit<\/strong> .<\/span><\/p>\n
 Zus\u00e4tzliche Ressourcen<\/strong><\/span><\/h2>\n
 Die folgenden Tutorials erkl\u00e4ren, wie Sie andere h\u00e4ufige Aufgaben in R ausf\u00fchren:<\/span><\/p>\n
 So erzeugen Sie eine Normalverteilung in R<\/a>
 So zeichnen Sie eine Normalverteilung in R auf<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"
In der Statistik ist die Kullback-Leibler-Divergenz (KL) eine Distanzmetrik, die den Unterschied zwischen zwei Wahrscheinlichkeitsverteilungen quantifiziert. Wenn wir zwei Wahrscheinlichkeitsverteilungen haben, P und Q, schreiben wir die KL-Divergenz im Allgemeinen mit der Notation KL(P || Q), was \u201eDivergenz von P von Q\u201c bedeutet. Wir berechnen es nach folgender Formel: KL(P || Q) = \u03a3P(x) ln […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"yoast_head":"\nSo berechnen Sie die KL-Divergenz in R (mit Beispiel) - Statistik<\/title>\n<meta name=\"description\" content=\"In diesem Tutorial wird anhand eines Beispiels erl\u00e4utert, wie die KL-Divergenz in R berechnet wird.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/statorials.org\/de\/kl-divergenz-in-r\/\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"So berechnen Sie die KL-Divergenz in R (mit Beispiel) - Statistik\" \/>\n<meta property=\"og:description\" content=\"In diesem Tutorial wird anhand eines Beispiels erl\u00e4utert, wie die KL-Divergenz in R berechnet wird.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/statorials.org\/de\/kl-divergenz-in-r\/\" \/>\n<meta property=\"og:site_name\" content=\"Statorials\" \/>\n<meta property=\"article:published_time\" content=\"2023-07-15T14:06:42+00:00\" \/>\n<meta name=\"author\" content=\"Dr. Benjamin Anderson\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Dr. Benjamin Anderson\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"2 Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/statorials.org\/de\/kl-divergenz-in-r\/\",\"url\":\"https:\/\/statorials.org\/de\/kl-divergenz-in-r\/\",\"name\":\"So berechnen Sie die KL-Divergenz in R (mit Beispiel) - Statistik\",\"isPartOf\":{\"@id\":\"https:\/\/statorials.org\/de\/#website\"},\"datePublished\":\"2023-07-15T14:06:42+00:00\",\"dateModified\":\"2023-07-15T14:06:42+00:00\",\"author\":{\"@id\":\"https:\/\/statorials.org\/de\/#\/schema\/person\/ec75c4d6365f2708f8a0ad3a42121aa0\"},\"description\":\"In diesem Tutorial wird anhand eines Beispiels erl\u00e4utert, wie die KL-Divergenz in R berechnet wird.\",\"breadcrumb\":{\"@id\":\"https:\/\/statorials.org\/de\/kl-divergenz-in-r\/#breadcrumb\"},\"inLanguage\":\"de-DE\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/statorials.org\/de\/kl-divergenz-in-r\/\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/statorials.org\/de\/kl-divergenz-in-r\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Heim\",\"item\":\"https:\/\/statorials.org\/de\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"So berechnen sie die kl-divergenz in r (mit beispiel)\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/statorials.org\/de\/#website\",\"url\":\"https:\/\/statorials.org\/de\/\",\"name\":\"Statorials\",\"description\":\"Ihr Leitfaden f\u00fcr statistische Kompetenz !\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/statorials.org\/de\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"de-DE\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/statorials.org\/de\/#\/schema\/person\/ec75c4d6365f2708f8a0ad3a42121aa0\",\"name\":\"Dr. Benjamin Anderson\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de-DE\",\"@id\":\"https:\/\/statorials.org\/de\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/statorials.org\/de\/wp-content\/uploads\/2023\/11\/Benjamin-Anderson-96x96.jpg\",\"contentUrl\":\"https:\/\/statorials.org\/de\/wp-content\/uploads\/2023\/11\/Benjamin-Anderson-96x96.jpg\",\"caption\":\"Dr. Benjamin Anderson\"},\"description\":\"Hallo, ich bin Benjamin, ein pensionierter Statistikprofessor, der sich zum engagierten Statorials-Lehrer entwickelt hat. Mit umfassender Erfahrung und Fachwissen auf dem Gebiet der Statistik bin ich bestrebt, mein Wissen zu teilen, um Studenten durch Statorials zu bef\u00e4higen. Mehr wissen\",\"sameAs\":[\"https:\/\/statorials.org\/de\"]}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"So berechnen Sie die KL-Divergenz in R (mit Beispiel) - Statistik","description":"In diesem Tutorial wird anhand eines Beispiels erl\u00e4utert, wie die KL-Divergenz in R berechnet wird.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/statorials.org\/de\/kl-divergenz-in-r\/","og_locale":"de_DE","og_type":"article","og_title":"So berechnen Sie die KL-Divergenz in R (mit Beispiel) - Statistik","og_description":"In diesem Tutorial wird anhand eines Beispiels erl\u00e4utert, wie die KL-Divergenz in R berechnet wird.","og_url":"https:\/\/statorials.org\/de\/kl-divergenz-in-r\/","og_site_name":"Statorials","article_published_time":"2023-07-15T14:06:42+00:00","author":"Dr. Benjamin Anderson","twitter_card":"summary_large_image","twitter_misc":{"Verfasst von":"Dr. Benjamin Anderson","Gesch\u00e4tzte Lesezeit":"2 Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/statorials.org\/de\/kl-divergenz-in-r\/","url":"https:\/\/statorials.org\/de\/kl-divergenz-in-r\/","name":"So berechnen Sie die KL-Divergenz in R (mit Beispiel) - Statistik","isPartOf":{"@id":"https:\/\/statorials.org\/de\/#website"},"datePublished":"2023-07-15T14:06:42+00:00","dateModified":"2023-07-15T14:06:42+00:00","author":{"@id":"https:\/\/statorials.org\/de\/#\/schema\/person\/ec75c4d6365f2708f8a0ad3a42121aa0"},"description":"In diesem Tutorial wird anhand eines Beispiels erl\u00e4utert, wie die KL-Divergenz in R berechnet wird.","breadcrumb":{"@id":"https:\/\/statorials.org\/de\/kl-divergenz-in-r\/#breadcrumb"},"inLanguage":"de-DE","potentialAction":[{"@type":"ReadAction","target":["https:\/\/statorials.org\/de\/kl-divergenz-in-r\/"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/statorials.org\/de\/kl-divergenz-in-r\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Heim","item":"https:\/\/statorials.org\/de\/"},{"@type":"ListItem","position":2,"name":"So berechnen sie die kl-divergenz in r (mit beispiel)"}]},{"@type":"WebSite","@id":"https:\/\/statorials.org\/de\/#website","url":"https:\/\/statorials.org\/de\/","name":"Statorials","description":"Ihr Leitfaden f\u00fcr statistische Kompetenz !","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/statorials.org\/de\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"de-DE"},{"@type":"Person","@id":"https:\/\/statorials.org\/de\/#\/schema\/person\/ec75c4d6365f2708f8a0ad3a42121aa0","name":"Dr. Benjamin Anderson","image":{"@type":"ImageObject","inLanguage":"de-DE","@id":"https:\/\/statorials.org\/de\/#\/schema\/person\/image\/","url":"https:\/\/statorials.org\/de\/wp-content\/uploads\/2023\/11\/Benjamin-Anderson-96x96.jpg","contentUrl":"https:\/\/statorials.org\/de\/wp-content\/uploads\/2023\/11\/Benjamin-Anderson-96x96.jpg","caption":"Dr. Benjamin Anderson"},"description":"Hallo, ich bin Benjamin, ein pensionierter Statistikprofessor, der sich zum engagierten Statorials-Lehrer entwickelt hat. Mit umfassender Erfahrung und Fachwissen auf dem Gebiet der Statistik bin ich bestrebt, mein Wissen zu teilen, um Studenten durch Statorials zu bef\u00e4higen. Mehr wissen","sameAs":["https:\/\/statorials.org\/de"]}]}},"yoast_meta":{"yoast_wpseo_title":"","yoast_wpseo_metadesc":"","yoast_wpseo_canonical":""},"_links":{"self":[{"href":"https:\/\/statorials.org\/de\/wp-json\/wp\/v2\/posts\/3782"}],"collection":[{"href":"https:\/\/statorials.org\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/statorials.org\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/statorials.org\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/statorials.org\/de\/wp-json\/wp\/v2\/comments?post=3782"}],"version-history":[{"count":0,"href":"https:\/\/statorials.org\/de\/wp-json\/wp\/v2\/posts\/3782\/revisions"}],"wp:attachment":[{"href":"https:\/\/statorials.org\/de\/wp-json\/wp\/v2\/media?parent=3782"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/statorials.org\/de\/wp-json\/wp\/v2\/categories?post=3782"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/statorials.org\/de\/wp-json\/wp\/v2\/tags?post=3782"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
 Beachten Sie au\u00dferdem, dass einige Formeln den Logarithmus zur Basis 2 verwenden, um die KL-Divergenz zu berechnen. In diesem Fall sprechen wir von Divergenz in Bezug auf Bits<\/a> und nicht auf Nats.<\/span><\/p>\n