Comment calculer la divergence KL dans R (avec exemple)

En statistiques, la divergence Kullback – Leibler (KL) est une métrique de distance qui quantifie la différence entre deux distributions de probabilité.

Si nous avons deux distributions de probabilité, P et Q, nous écrivons généralement la divergence KL en utilisant la notation KL(P || Q), qui signifie « divergence de P par rapport à Q ».

Nous le calculons à l’aide de la formule suivante :

KL(P || Q) = ΣP(x) ln (P(x) / Q(x))

Si la divergence KL entre deux distributions est nulle, cela indique que les distributions sont identiques.

Le moyen le plus simple de calculer la divergence KL entre deux distributions de probabilité dans R est d’utiliser la fonction KL() du package philentropy .

L’exemple suivant montre comment utiliser cette fonction dans la pratique.

Exemple : calcul de la divergence KL dans R

Supposons que nous ayons les deux distributions de probabilité suivantes dans R :

#define two probability distributions
P <- c(.05, .1, .2, .05, .15, .25, .08, .12)
Q <- c(.3, .1, .2, .1, .1, .02, .08, .1)

Remarque : Il est important que les probabilités de chaque distribution totalisent un.

Nous pouvons utiliser le code suivant pour calculer la divergence KL entre les deux distributions :

library(philentropy)

#rbind distributions into one matrix
x <- rbind(P,Q)

#calculate KL divergence
KL(x, unit='log')

Metric: 'kullback-leibler' using unit: 'log'; comparing: 2 vectors.
kullback-leibler 
       0.5898852 

La divergence KL de la distribution P par rapport à la distribution Q est d’environ 0,589 .

Notez que les unités utilisées dans ce calcul sont connues sous le nom de nats , qui est l’abréviation de natural unit of information .

Ainsi, nous dirions que la divergence KL est de 0,589 nats .

Notez également que la divergence KL n’est pas une métrique symétrique. Cela signifie que si nous calculons la divergence KL de la distribution Q par rapport à la distribution P, nous obtiendrons probablement une valeur différente :

library(philentropy)

#rbind distributions into one matrix
x <- rbind(Q,P)

#calculate KL divergence
KL(x, unit='log')

Metric: 'kullback-leibler' using unit: 'log'; comparing: 2 vectors.
kullback-leibler 
       0.4975493 

La divergence KL de la distribution Q par rapport à la distribution P est d’environ 0,497 nats .

Notez également que certaines formules utilisent le log base-2 pour calculer la divergence KL. Dans ce cas, nous parlons de divergence en termes de bits plutôt que de nats.

Pour calculer la divergence KL en termes de bits, vous pouvez utiliser log2 dans l’argument unité :

library(philentropy)

#rbind distributions into one matrix
x <- rbind(P,Q)

#calculate KL divergence (in bits)
KL(x, unit='log2')

Metric: 'kullback-leibler' using unit: 'log2'; comparing: 2 vectors.
kullback-leibler 
       0.7178119

La divergence KL de la distribution P par rapport à la distribution Q est d’environ 0,7178 bits .

Ressources additionnelles

Les didacticiels suivants expliquent comment effectuer d’autres tâches courantes dans R :

Comment générer une distribution normale dans R
Comment tracer une distribution normale dans R