<\/p>\n
Nas estat\u00edsticas, a diverg\u00eancia Kullback-Leibler (KL)<\/strong> \u00e9 uma m\u00e9trica de dist\u00e2ncia que quantifica a diferen\u00e7a entre duas distribui\u00e7\u00f5es de probabilidade.<\/span><\/p>\n Se tivermos duas distribui\u00e7\u00f5es de probabilidade, P e Q, geralmente escrevemos a diverg\u00eancia KL usando a nota\u00e7\u00e3o KL(P || Q), que significa “diverg\u00eancia de P de Q”.<\/span><\/p>\n Calculamos usando a seguinte f\u00f3rmula:<\/span><\/p>\n KL(P || Q) = \u03a3P(x) ln<\/em> (P(x) \/ Q(x))<\/span><\/p>\n Se a diverg\u00eancia KL entre duas distribui\u00e7\u00f5es for zero, isso indica que as distribui\u00e7\u00f5es s\u00e3o id\u00eanticas.<\/span><\/p>\n A maneira mais simples de calcular a diverg\u00eancia KL entre duas distribui\u00e7\u00f5es de probabilidade em R \u00e9 usar a fun\u00e7\u00e3o KL()<\/strong> do pacote filantropia<\/strong> .<\/span><\/p>\n O exemplo a seguir mostra como usar esta fun\u00e7\u00e3o na pr\u00e1tica.<\/span><\/p>\n Suponha que temos as duas distribui\u00e7\u00f5es de probabilidade a seguir em R:<\/span><\/p>\n Nota<\/strong> : \u00c9 importante que as probabilidades de cada distribui\u00e7\u00e3o somam um.<\/span><\/p>\n Podemos usar o seguinte c\u00f3digo para calcular a diverg\u00eancia KL entre as duas distribui\u00e7\u00f5es:<\/span><\/p>\n A diverg\u00eancia KL da distribui\u00e7\u00e3o P da distribui\u00e7\u00e3o Q \u00e9 de aproximadamente 0,589<\/strong> .<\/span><\/p>\n Observe que as unidades usadas neste c\u00e1lculo s\u00e3o conhecidas como nats<\/a> , que \u00e9 a abrevia\u00e7\u00e3o de unidade natural de informa\u00e7\u00e3o<\/em> .<\/span><\/p>\n Ent\u00e3o dir\u00edamos que a diverg\u00eancia KL \u00e9 de 0,589 nats<\/strong> .<\/span><\/p>\n Observe tamb\u00e9m que a diverg\u00eancia KL n\u00e3o \u00e9 uma m\u00e9trica sim\u00e9trica. Isto significa que se calcularmos a diverg\u00eancia KL da distribui\u00e7\u00e3o Q da distribui\u00e7\u00e3o P, provavelmente obteremos um valor diferente:<\/span><\/p>\n A diverg\u00eancia KL da distribui\u00e7\u00e3o Q da distribui\u00e7\u00e3o P \u00e9 de aproximadamente 0,497 nats<\/strong> .<\/span><\/p>\n Observe tamb\u00e9m que algumas f\u00f3rmulas usam log base 2 para calcular a diverg\u00eancia KL. Neste caso estamos falando de diverg\u00eancia em termos de bits<\/a> e n\u00e3o de nats.<\/span><\/p>\n Para calcular a diverg\u00eancia KL em termos de bits, voc\u00ea pode usar log2 no argumento da unidade<\/strong> :<\/span><\/p>\n A diverg\u00eancia KL da distribui\u00e7\u00e3o P da distribui\u00e7\u00e3o Q \u00e9 de aproximadamente 0,7178 bits<\/strong> .<\/span><\/p>\n Os tutoriais a seguir explicam como realizar outras tarefas comuns em R:<\/span><\/p>\n Como gerar uma distribui\u00e7\u00e3o normal em R<\/a> Nas estat\u00edsticas, a diverg\u00eancia Kullback-Leibler (KL) \u00e9 uma m\u00e9trica de dist\u00e2ncia que quantifica a diferen\u00e7a entre duas distribui\u00e7\u00f5es de probabilidade. Se tivermos duas distribui\u00e7\u00f5es de probabilidade, P e Q, geralmente escrevemos a diverg\u00eancia KL usando a nota\u00e7\u00e3o KL(P || Q), que significa “diverg\u00eancia de P de Q”. Calculamos usando a seguinte f\u00f3rmula: KL(P || Q) […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"class_list":["post-3783","post","type-post","status-publish","format-standard","hentry","category-guia"],"yoast_head":"\n Exemplo: calculando a diverg\u00eancia KL em R<\/strong><\/span><\/h2>\n
#define two probability distributions\nP <- c(.05, .1, .2, .05, .15, .25, .08, .12)\nQ <- c(.3, .1, .2, .1, .1, .02, .08, .1)\n<\/span><\/span><\/strong><\/pre>\n library<\/span> (philentropy)\n\n#rbind distributions into one matrix\n<\/span>x <- rbind(P,Q)\n\n#calculate KL divergence\n<\/span>KL(x, unit=' log<\/span> ')\n\nMetric: 'kullback-leibler' using unit: 'log'; comparing: 2 vectors.\nkullback-leibler \n 0.5898852 \n<\/span><\/span><\/strong><\/pre>\n library<\/span> (philentropy)\n\n#rbind distributions into one matrix\n<\/span>x <- rbind(Q,P)\n\n#calculate KL divergence\n<\/span>KL(x, unit=' log<\/span> ')\n\nMetric: 'kullback-leibler' using unit: 'log'; comparing: 2 vectors.\nkullback-leibler \n 0.4975493 \n<\/span><\/span><\/strong><\/pre>\n library<\/span> (philentropy)\n\n#rbind distributions into one matrix\n<\/span>x <- rbind(P,Q)\n\n#calculate KL divergence (in bits)\n<\/span>KL(x, unit=' log2<\/span> ')\n\nMetric: 'kullback-leibler' using unit: 'log2'; comparing: 2 vectors.\nkullback-leibler \n 0.7178119\n<\/span><\/span><\/strong><\/pre>\n Recursos adicionais<\/strong><\/span><\/h2>\n
Como tra\u00e7ar uma distribui\u00e7\u00e3o normal em R<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"