Wie man negative aic-werte interpretiert

Das Akaike Information Criterion (AIC) ist eine Metrik, die zum Vergleich der Passung verschiedener Regressionsmodelle verwendet wird.

Es wird wie folgt berechnet:

AIC = 2K – 2 ln (L)

Gold:

• K: Die Anzahl der Modellparameter.
• ln (L) : Die Log-Likelihood des Modells. Dies sagt uns, wie wahrscheinlich das Modell angesichts der Daten ist.

Nachdem Sie mehrere Regressionsmodelle angepasst haben, können Sie den AIC-Wert jedes Modells vergleichen. Das Modell mit dem niedrigsten AIC bietet die beste Passform.

Eine von Studierenden häufig gestellte Frage zum AIC lautet: Wie sind negative AIC-Werte zu interpretieren?

Die einfache Antwort: Je niedriger der AIC-Wert, desto besser passt das Modell. Der absolute Wert des AIC-Wertes ist nicht wichtig. Dies kann positiv oder negativ sein.

Wenn beispielsweise Modell 1 einen AIC-Wert von -56,5 und Modell 2 einen AIC-Wert von -103,3 hat, dann bietet Modell 2 eine bessere Anpassung. Es spielt keine Rolle, ob beide AIC-Werte negativ sind.

Negative AIC-Werte verstehen

Es ist leicht zu erkennen, wie ein bestimmtes Regressionsmodell zu einem negativen AIC-Wert führen könnte, wenn wir uns einfach die Formel ansehen, die zur Berechnung des AIC verwendet wird:

AIC = 2K – 2 ln (L)

Angenommen, wir haben ein Modell mit 7 Parametern und einer Log-Likelihood von 70.

Wir würden den AIC dieses Modells wie folgt berechnen:

AIC = 2*7 – 2*70 = -126

Wir könnten diesen AIC-Wert dann mit dem anderer Regressionsmodelle vergleichen, um zu bestimmen, welches Modell die beste Anpassung bietet.

Lehrbuchreferenzen zu negativen AIC-Werten

Eine nützliche Lehrbuchreferenz zu negativen AIC-Werten findet sich in Model Selection and Multimodal Inference: A Practical Information-Theoretic Approach auf Seite 62:

Normalerweise ist der AIC positiv; Er kann jedoch um jede beliebige additive Konstante verschoben werden, und einige Änderungen können zu negativen AIC-Werten führen… Dies ist nicht die absolute Größe des AIC-Werts, sondern die relativen Werte aller betrachteten Modelle und insbesondere Die Unterschiede zwischen den AIC-Werten sind wichtig.

Eine weitere nützliche Referenz stammt aus Serious Stats: A Guide to Advanced Statistics for the Behavioral Sciences auf Seite 402:

Wie bei der Wahrscheinlichkeit ist der absolute Wert des AIC weitgehend bedeutungslos (er wird durch die willkürliche Konstante bestimmt). Da diese Konstante datenabhängig ist, kann AIC zum Vergleich von Modellen verwendet werden, die an identische Stichproben angepasst wurden.

Das beste Modell unter allen betrachteten plausiblen Modellen ist daher dasjenige mit dem kleinsten AIC-Wert (dem geringsten Informationsverlust im Vergleich zum realen Modell).

Wie in beiden Lehrbüchern erwähnt, ist der absolute Wert des AIC nicht wichtig. Wir verwenden einfach die AIC-Werte, um die Anpassung der Modelle zu vergleichen, und das Modell mit dem niedrigsten AIC-Wert ist das beste.

Zusätzliche Ressourcen

So berechnen Sie den AIC in R
So berechnen Sie AIC in Python