<\/p>\n
W statystyce rozbie\u017cno\u015b\u0107 Kullbacka-Leiblera (KL)<\/strong> jest metryk\u0105 odleg\u0142o\u015bci, kt\u00f3ra okre\u015bla ilo\u015bciowo r\u00f3\u017cnic\u0119 mi\u0119dzy dwoma rozk\u0142adami prawdopodobie\u0144stwa.<\/span><\/p>\n Je\u015bli mamy dwa rozk\u0142ady prawdopodobie\u0144stwa, P i Q, generalnie rozbie\u017cno\u015b\u0107 KL zapisujemy za pomoc\u0105 notacji KL(P || Q), co oznacza \u201erozbie\u017cno\u015b\u0107 P od Q\u201d.<\/span><\/p>\n Obliczamy to za pomoc\u0105 nast\u0119puj\u0105cego wzoru:<\/span><\/p>\n KL(P || Q) = \u03a3P(x) ln<\/em> (P(x) \/ Q(x))<\/span><\/p>\n Je\u017celi rozbie\u017cno\u015b\u0107 KL pomi\u0119dzy dwoma rozk\u0142adami wynosi zero, oznacza to, \u017ce rozk\u0142ady s\u0105 identyczne.<\/span><\/p>\n Najprostszym sposobem obliczenia rozbie\u017cno\u015bci KL pomi\u0119dzy dwoma rozk\u0142adami prawdopodobie\u0144stwa w R jest u\u017cycie funkcji KL()<\/strong> z pakietu Philentropy<\/strong> .<\/span><\/p>\n Poni\u017cszy przyk\u0142ad pokazuje, jak w praktyce wykorzysta\u0107 t\u0119 funkcj\u0119.<\/span><\/p>\n Za\u0142\u00f3\u017cmy, \u017ce mamy nast\u0119puj\u0105ce dwa rozk\u0142ady prawdopodobie\u0144stwa w R:<\/span><\/p>\n Uwaga<\/strong> : Wa\u017cne jest, aby prawdopodobie\u0144stwa ka\u017cdego rozk\u0142adu sumowa\u0142y si\u0119 do jednego.<\/span><\/p>\n Mo\u017cemy u\u017cy\u0107 nast\u0119puj\u0105cego kodu do obliczenia rozbie\u017cno\u015bci KL pomi\u0119dzy dwoma rozk\u0142adami:<\/span><\/p>\n Rozbie\u017cno\u015b\u0107 KL rozk\u0142adu P od rozk\u0142adu Q wynosi w przybli\u017ceniu 0,589<\/strong> .<\/span><\/p>\n Nale\u017cy pami\u0119ta\u0107, \u017ce jednostki u\u017cywane w tych obliczeniach nazywane s\u0105 nats<\/a> , co jest skr\u00f3tem od naturalnej jednostki informacji<\/em> .<\/span><\/p>\n Powiedzieliby\u015bmy wi\u0119c, \u017ce rozbie\u017cno\u015b\u0107 KL wynosi 0,589 nat<\/strong> .<\/span><\/p>\n Nale\u017cy r\u00f3wnie\u017c pami\u0119ta\u0107, \u017ce rozbie\u017cno\u015b\u0107 KL nie jest metryk\u0105 symetryczn\u0105. Oznacza to, \u017ce je\u015bli obliczymy rozbie\u017cno\u015b\u0107 KL rozk\u0142adu Q z rozk\u0142adu P, prawdopodobnie otrzymamy inn\u0105 warto\u015b\u0107:<\/span><\/p>\n Rozbie\u017cno\u015b\u0107 KL rozk\u0142adu Q od rozk\u0142adu P wynosi oko\u0142o 0,497 nat<\/strong> .<\/span><\/p>\n Nale\u017cy r\u00f3wnie\u017c pami\u0119ta\u0107, \u017ce w niekt\u00f3rych formu\u0142ach do obliczenia rozbie\u017cno\u015bci KL u\u017cywa si\u0119 logarytmu o podstawie 2. W tym przypadku m\u00f3wimy o rozbie\u017cno\u015bci w kategoriach bit\u00f3w<\/a> , a nie NAT.<\/span><\/p>\n Aby obliczy\u0107 rozbie\u017cno\u015b\u0107 KL w bitach, mo\u017cesz u\u017cy\u0107 log2 w argumencie jednostkowym<\/strong> :<\/span><\/p>\n Rozbie\u017cno\u015b\u0107 KL rozk\u0142adu P od rozk\u0142adu Q wynosi w przybli\u017ceniu 0,7178 bit\u00f3w<\/strong> .<\/span><\/p>\n Poni\u017csze samouczki wyja\u015bniaj\u0105, jak wykonywa\u0107 inne typowe zadania w j\u0119zyku R:<\/span><\/p>\n Jak wygenerowa\u0107 rozk\u0142ad normalny w R<\/a> W statystyce rozbie\u017cno\u015b\u0107 Kullbacka-Leiblera (KL) jest metryk\u0105 odleg\u0142o\u015bci, kt\u00f3ra okre\u015bla ilo\u015bciowo r\u00f3\u017cnic\u0119 mi\u0119dzy dwoma rozk\u0142adami prawdopodobie\u0144stwa. Je\u015bli mamy dwa rozk\u0142ady prawdopodobie\u0144stwa, P i Q, generalnie rozbie\u017cno\u015b\u0107 KL zapisujemy za pomoc\u0105 notacji KL(P || Q), co oznacza \u201erozbie\u017cno\u015b\u0107 P od Q\u201d. Obliczamy to za pomoc\u0105 nast\u0119puj\u0105cego wzoru: KL(P || Q) = \u03a3P(x) ln (P(x) \/ Q(x)) […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[3],"tags":[],"class_list":["post-3782","post","type-post","status-publish","format-standard","hentry","category-przewodnik"],"yoast_head":"\n Przyk\u0142ad: obliczenie rozbie\u017cno\u015bci KL w R<\/strong><\/span><\/h2>\n
#define two probability distributions\nP <- c(.05, .1, .2, .05, .15, .25, .08, .12)\nQ <- c(.3, .1, .2, .1, .1, .02, .08, .1)\n<\/span><\/span><\/strong><\/pre>\n library<\/span> (philentropy)\n\n#rbind distributions into one matrix\n<\/span>x <- rbind(P,Q)\n\n#calculate KL divergence\n<\/span>KL(x, unit=' log<\/span> ')\n\nMetric: 'kullback-leibler' using unit: 'log'; comparing: 2 vectors.\nkullback-leibler \n 0.5898852 \n<\/span><\/span><\/strong><\/pre>\n library<\/span> (philentropy)\n\n#rbind distributions into one matrix\n<\/span>x <- rbind(Q,P)\n\n#calculate KL divergence\n<\/span>KL(x, unit=' log<\/span> ')\n\nMetric: 'kullback-leibler' using unit: 'log'; comparing: 2 vectors.\nkullback-leibler \n 0.4975493 \n<\/span><\/span><\/strong><\/pre>\n library<\/span> (philentropy)\n\n#rbind distributions into one matrix\n<\/span>x <- rbind(P,Q)\n\n#calculate KL divergence (in bits)\n<\/span>KL(x, unit=' log2<\/span> ')\n\nMetric: 'kullback-leibler' using unit: 'log2'; comparing: 2 vectors.\nkullback-leibler \n 0.7178119\n<\/span><\/span><\/strong><\/pre>\n Dodatkowe zasoby<\/strong><\/span><\/h2>\n
Jak wykre\u015bli\u0107 rozk\u0142ad normalny w R<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"