Comment calculer la divergence KL en Python (avec exemple)

En statistiques, la divergence Kullback – Leibler (KL) est une métrique de distance qui quantifie la différence entre deux distributions de probabilité.

Si nous avons deux distributions de probabilité, P et Q, nous écrivons généralement la divergence KL en utilisant la notation KL(P || Q), qui signifie « divergence de P par rapport à Q ».

Nous le calculons à l’aide de la formule suivante :

KL(P || Q) = ΣP(x) ln (P(x) / Q(x))

Si la divergence KL entre deux distributions est nulle, cela indique que les distributions sont identiques.

Nous pouvons utiliser la fonction scipy.special.rel_entr() pour calculer la divergence KL entre deux distributions de probabilité en Python.

L’exemple suivant montre comment utiliser cette fonction dans la pratique.

Exemple : calcul de la divergence KL en Python

Supposons que nous ayons les deux distributions de probabilité suivantes en Python :

Remarque : Il est important que les probabilités de chaque distribution totalisent un.

#define two probability distributions
P = [.05, .1, .2, .05, .15, .25, .08, .12]
Q = [.3, .1, .2, .1, .1, .02, .08, .1]

Nous pouvons utiliser le code suivant pour calculer la divergence KL entre les deux distributions :

from scipy.special import rel_entr

#calculate (P || Q)
sum(rel_entr(P, Q))

0.589885181619163

La divergence KL de la distribution P par rapport à la distribution Q est d’environ 0,589 .

Notez que les unités utilisées dans ce calcul sont connues sous le nom de nats , qui est l’abréviation de natural unit of information .

Ainsi, nous dirions que la divergence KL est de 0,589 nats .

Notez également que la divergence KL n’est pas une métrique symétrique. Cela signifie que si nous calculons la divergence KL de la distribution Q par rapport à la distribution P, nous obtiendrons probablement une valeur différente :

from scipy.special import rel_entr

#calculate (Q || P)
sum(rel_entr(Q, P))

0.497549319448034

La divergence KL de la distribution Q par rapport à la distribution P est d’environ 0,497 nats .

Remarque : Certaines formules utilisent le log base-2 pour calculer la divergence KL. Dans ce cas, nous parlons de divergence en termes de bits plutôt que de nats.

Ressources additionnelles

Les didacticiels suivants expliquent comment effectuer d’autres opérations courantes en Python :

Comment créer une matrice de corrélation en Python
Comment créer une matrice de covariance en Python