Comment interpréter les valeurs AIC négatives

Le critère d’information d’Akaike (AIC) est une métrique utilisée pour comparer l’ajustement de différents modèles de régression.

Il est calculé comme suit :

AIC = 2K – 2 ln (L)

où:

• K : Le nombre de paramètres du modèle.
• ln (L) : La log-vraisemblance du modèle. Cela nous indique la probabilité du modèle, compte tenu des données.

Une fois que vous avez ajusté plusieurs modèles de régression, vous pouvez comparer la valeur AIC de chaque modèle. Le modèle avec l’AIC le plus bas offre le meilleur ajustement.

Une question que les étudiants se posent souvent à propos de l’AIC est la suivante : comment interpréter les valeurs négatives de l’AIC ?

La réponse simple : plus la valeur de l’AIC est faible, meilleur est l’ajustement du modèle. La valeur absolue de la valeur AIC n’est pas importante. Cela peut être positif ou négatif.

Par exemple, si le modèle 1 a une valeur AIC de -56,5 et que le modèle 2 a une valeur AIC de -103,3, alors le modèle 2 offre un meilleur ajustement. Peu importe si les deux valeurs AIC sont négatives.

Comprendre les valeurs AIC négatives

Il est facile de voir comment un modèle de régression donné pourrait entraîner une valeur AIC négative si nous regardons simplement la formule utilisée pour calculer l’AIC :

AIC = 2K – 2 ln (L)

Supposons que nous ayons un modèle avec 7 paramètres et une log-vraisemblance de 70.

Nous calculerions l’AIC de ce modèle comme suit :

AIC = 2*7 – 2*70 = -126

Nous pourrions ensuite comparer cette valeur AIC à celle d’autres modèles de régression pour déterminer quel modèle offre le meilleur ajustement.

Références de manuels sur les valeurs AIC négatives

Une référence de manuel utile sur les valeurs AIC négatives provient de Model Selection and Multimodal Inference: A Practical Information-Theoretic Approach à la page 62 :

Habituellement, l’AIC est positif ; cependant, elle peut être décalée de n’importe quelle constante additive, et certains changements peuvent entraîner des valeurs négatives de l’AIC… Il ne s’agit pas de la taille absolue de la valeur de l’AIC, ce sont les valeurs relatives sur l’ensemble des modèles considérés, et en particulier les différences entre Les valeurs de l’AIC, c’est important.

Une autre référence utile provient de Serious Stats : A Guide to Advanced Statistics for the Behavioral Sciences à la page 402 :

Comme pour la vraisemblance, la valeur absolue de l’AIC n’a en grande partie aucun sens (étant déterminée par la constante arbitraire). Comme cette constante dépend des données, l’AIC peut être utilisée pour comparer des modèles ajustés sur des échantillons identiques.

Le meilleur modèle parmi l’ensemble des modèles plausibles considérés est donc celui avec la plus petite valeur AIC (la moindre perte d’information par rapport au modèle réel).

Comme indiqué dans les deux manuels, la valeur absolue de l’AIC n’est pas importante. Nous utilisons simplement les valeurs AIC pour comparer l’ajustement des modèles et le modèle avec la valeur AIC la plus basse est le meilleur.

Ressources additionnelles

Comment calculer l’AIC en R
Comment calculer l’AIC en Python