Что такое экономичная модель?

Экономная модель — это модель, которая достигает желаемого уровня соответствия, используя как можно меньше объясняющих переменных .

Обоснование модели этого типа проистекает из идеи бритвы Оккама (иногда называемой «принципом экономности»), которая гласит, что самое простое объяснение, вероятно, является правильным.

Применительно к статистике, модель, которая имеет мало параметров, но достигает удовлетворительного уровня соответствия, должна быть предпочтительнее модели, которая имеет массу параметров и достигает лишь немного более высокого уровня соответствия.

Для этого есть две причины:

1. Экономичные модели легче интерпретировать и понимать. Модели с меньшим количеством параметров легче понять и объяснить.

2. Экономные модели, как правило, обладают большей предсказательной способностью. Модели с меньшим количеством параметров, как правило, работают лучше при применении к новым данным.

Рассмотрим следующие два примера, чтобы проиллюстрировать эти идеи.

Пример 1: Экономичные модели = простая интерпретация

Предположим, мы хотим построить модель, используя набор объясняющих переменных, связанных с недвижимостью, для прогнозирования цен на недвижимость. Рассмотрим следующие две модели с их скорректированным R-квадратом:

Модель 1:

• Уравнение: Цена дома = 8 830 + 81 * (квадратный фут).
• Скорректированный ^R2 : 0,7734

Модель 2:

• Уравнение: Цена дома = 8 921 + 77*(квадратные футы) + 7*(квадратные футы) ² – 9*(возраст) + 600*(спальни) + 38*(ванные).
• Скорректированный ^R2 : 0,7823

Первая модель имеет только одну объясняющую переменную и скорректированный ^R2, равный 0,7734, тогда как вторая модель имеет пять объясняющих переменных с немного более высоким скорректированным ^R2 .

Исходя из принципа экономии, мы бы предпочли использовать первую модель, поскольку каждая модель имеет примерно одинаковую способность объяснять изменения цен на жилье, но первую модель гораздо легче понять и объяснить.

Например, в первой модели мы знаем, что увеличение площади дома на одну единицу связано с увеличением средней цены дома на 81 доллар. Это просто понять и объяснить.

Однако во втором примере оценки коэффициентов интерпретировать гораздо сложнее. Например, дополнительная комната в доме связана со средним увеличением цены дома на 600 долларов США, при условии, что площадь дома, возраст дома и количество ванных комнат остаются постоянными. Это гораздо сложнее понять и объяснить.

Пример 2: Экономичные модели = лучшие прогнозы

Экономные модели также имеют тенденцию делать более точные прогнозы для новых наборов данных, поскольку они с меньшей вероятностью будут переопределять исходный набор данных.

В целом модели с большим количеством параметров будут обеспечивать более точное соответствие и более высокие значения R ² , чем модели с меньшим количеством параметров. К сожалению, включение слишком большого количества параметров в модель может привести к тому, что модель будет адаптироваться к шуму (или «случайности») данных, а не к истинной базовой взаимосвязи между объясняющими переменными. и переменные ответа.

Это означает, что очень сложная модель со многими параметрами, скорее всего, будет плохо работать с новым набором данных, с которым она никогда раньше не встречалась, по сравнению с более простой моделью с меньшим количеством параметров.

Как выбрать экономную модель

Теме выбора модели может быть посвящен целый курс, но, по сути, выбор экономичной модели означает выбор модели, которая работает лучше всего по метрике.

Обычно используемые метрики, которые оценивают модели на основе их производительности в наборе обучающих данных и количества параметров, включают:

1. Информационный критерий Акаике (AIC)

AIC модели можно рассчитать следующим образом:

AIC = -2/n * LL + 2 * k/n

Золото:

• n: количество наблюдений в наборе обучающих данных.
• LL: логарифмическое правдоподобие модели в наборе обучающих данных.
• k: Количество параметров в модели.

Используя этот метод, вы можете рассчитать AIC каждой модели, а затем выбрать модель с наименьшим значением AIC в качестве лучшей модели.

Этот подход имеет тенденцию отдавать предпочтение более сложным моделям по сравнению со следующим методом, BIC.

2. Байесовский информационный критерий (BIC).

BIC модели можно рассчитать следующим образом:

BIC = -2 * LL + log(n) * k

Золото:

• n: количество наблюдений в наборе обучающих данных.
• log: натуральный логарифм (по основанию e).
• LL: логарифмическое правдоподобие модели в наборе обучающих данных.
• k: Количество параметров в модели.

Используя этот метод, вы можете рассчитать BIC каждой модели, а затем выбрать модель с наименьшим значением BIC в качестве лучшей модели.

Этот подход имеет тенденцию отдавать предпочтение моделям с меньшим количеством параметров по сравнению с методом AIC.

3. Минимальная длина описания (MDL)

MDL — это способ оценки моделей из области теории информации. Его можно рассчитать следующим образом:

MDL = L(h) + L(D | h)

Золото:

• ч: Модель.
• D: Прогнозы, сделанные моделью.
• L(h): количество битов, необходимых для представления модели.
• L(D | h): количество битов, необходимых для представления прогнозов модели по обучающим данным.

Используя этот метод, вы можете рассчитать MDL каждой модели, а затем выбрать модель с наименьшим значением MDL в качестве лучшей модели.

В зависимости от типа проблемы, над которой вы работаете, один из этих методов — AIC, BIC или MDL — может быть предпочтительнее других для выбора экономичной модели.