Jak interpretować ujemne wartości aic

Kryterium informacyjne Akaike (AIC) to metryka używana do porównywania dopasowania różnych modeli regresji.

Oblicza się go w następujący sposób:

AIC = 2K – 2 ln (L)

Złoto:

• K: Liczba parametrów modelu.
• ln (L) : Logarytm wiarygodności modelu. To mówi nam, jak prawdopodobny jest model, biorąc pod uwagę dane.

Po dopasowaniu wielu modeli regresji można porównać wartość AIC każdego modelu. Model z najniższym AIC zapewnia najlepsze dopasowanie.

Pytanie, które uczniowie często zadają na temat AIC, brzmi: jak interpretować ujemne wartości AIC?

Odpowiedź jest prosta: im niższa wartość AIC, tym lepsze dopasowanie modelu. Wartość bezwzględna wartości AIC nie jest istotna. Może to być pozytywne lub negatywne.

Na przykład, jeśli Model 1 ma wartość AIC wynoszącą -56,5, a Model 2 ma wartość AIC wynoszącą -103,3, wówczas Model 2 zapewnia lepsze dopasowanie. Nie ma znaczenia, czy obie wartości AIC są ujemne.

Zrozumienie ujemnych wartości AIC

Łatwo jest zobaczyć, jak dany model regresji może skutkować ujemną wartością AIC, jeśli po prostu spojrzymy na wzór zastosowany do obliczenia AIC:

AIC = 2K – 2 ln (L)

Załóżmy, że mamy model z 7 parametrami i logarytmem wiarygodności wynoszącym 70.

Obliczylibyśmy AIC tego modelu w następujący sposób:

AIC = 2*7 – 2*70 = -126

Następnie moglibyśmy porównać tę wartość AIC z wartością innych modeli regresji, aby określić, który model zapewnia najlepsze dopasowanie.

Źródła podręcznikowe dotyczące ujemnych wartości AIC

Przydatne odniesienie do podręcznika na temat ujemnych wartości AIC pochodzi z Model Selection and Multimodal Inference: A Practical Information-Theoretic Approach na stronie 62:

Zwykle AIC jest dodatni; można ją jednak przesunąć o dowolną stałą addytywną, a niektóre zmiany mogą skutkować ujemnymi wartościami AIC… Nie jest to bezwzględna wielkość wartości AIC, są to wartości względne we wszystkich rozważanych modelach, w szczególności istotne jest, aby uwzględnić różnice pomiędzy wartościami AIC.

Inne przydatne odniesienie pochodzi z Serious Stats: A Guide to Advanced Statistics for the Behavioural Sciences, strona 402:

Podobnie jak w przypadku prawdopodobieństwa, wartość bezwzględna AIC jest w dużej mierze bez znaczenia (określana przez dowolną stałą). Ponieważ ta stała zależy od danych, AIC można wykorzystać do porównania modeli dopasowanych do identycznych próbek.

Najlepszym modelem spośród wszystkich rozpatrywanych modeli wiarygodnych jest zatem ten, który ma najmniejszą wartość AIC (najmniejszą utratę informacji w porównaniu z modelem rzeczywistym).

Jak zauważono w obu podręcznikach, wartość bezwzględna AIC nie jest istotna. Po prostu używamy wartości AIC, aby porównać dopasowanie modeli, a model z najniższą wartością AIC jest najlepszy.

Dodatkowe zasoby

Jak obliczyć AIC w R
Jak obliczyć AIC w Pythonie