Hoe negatieve aic-waarden te interpreteren

Het Akaike Information Criterion (AIC) is een maatstaf die wordt gebruikt om de fit van verschillende regressiemodellen te vergelijken.

Het wordt als volgt berekend:

AIC = 2K – 2 ln (L)

Goud:

• K: Het aantal modelparameters.
• ln (L) : De log-waarschijnlijkheid van het model. Dit vertelt ons hoe waarschijnlijk het model is, gegeven de gegevens.

Nadat u meerdere regressiemodellen heeft geïnstalleerd, kunt u de AIC-waarde van elk model vergelijken. Het model met de laagste AIC biedt de beste pasvorm.

Een vraag die studenten vaak stellen over AIC is: hoe interpreteren we negatieve AIC-waarden?

Het simpele antwoord: hoe lager de AIC-waarde, hoe beter het model past. De absolute waarde van de AIC-waarde is niet belangrijk. Dit kan positief of negatief zijn.

Als Model 1 bijvoorbeeld een AIC-waarde van -56,5 heeft en Model 2 een AIC-waarde van -103,3, dan biedt Model 2 een betere pasvorm. Het maakt niet uit of beide AIC-waarden negatief zijn.

Negatieve AIC-waarden begrijpen

Het is gemakkelijk in te zien hoe een bepaald regressiemodel zou kunnen resulteren in een negatieve AIC-waarde als we eenvoudigweg kijken naar de formule die wordt gebruikt om de AIC te berekenen:

AIC = 2K – 2 ln (L)

Stel dat we een model hebben met 7 parameters en een logwaarschijnlijkheid van 70.

We zouden de AIC van dit model als volgt berekenen:

AIC = 2*7 – 2*70 = -126

We zouden deze AIC-waarde vervolgens kunnen vergelijken met die van andere regressiemodellen om te bepalen welk model de beste fit oplevert.

Leerboekreferenties over negatieve AIC-waarden

Een nuttig handboekreferentie over negatieve AIC-waarden komt uit Model Selection and Multimodal Inference: A Practical Information-Theoretic Approach op pagina 62:

Meestal is de AIC positief; het kan echter worden verschoven door elke additieve constante, en sommige veranderingen kunnen resulteren in negatieve AIC-waarden… Dit is niet de absolute grootte van de AIC-waarde, het zijn de relatieve waarden op alle beschouwde modellen, en in het bijzonder de verschillen tussen de AIC-waarden is belangrijk.

Een andere nuttige referentie komt uit Serious Stats: A Guide to Advanced Statistics for the Behavioral Sciences op pagina 402:

Net als bij waarschijnlijkheid is de absolute waarde van de AIC grotendeels betekenisloos (wordt bepaald door de willekeurige constante). Omdat deze constante gegevensafhankelijk is, kan AIC worden gebruikt om modellen te vergelijken die op identieke monsters zijn gemonteerd.

Het beste model van alle beschouwde plausibele modellen is daarom het model met de kleinste AIC-waarde (het minste verlies aan informatie vergeleken met het echte model).

Zoals in beide leerboeken wordt opgemerkt, is de absolute waarde van AIC niet belangrijk. We gebruiken simpelweg de AIC-waarden om de pasvorm van de modellen te vergelijken en het model met de laagste AIC-waarde is het beste.

Aanvullende bronnen

Hoe AIC in R te berekenen
Hoe AIC in Python te berekenen