Информационный критерий Байеса (Bayesian information criterion)
Синонимы: BIC, Критерий Шварца, SC, Schwarz Criterion
Разделы: Метрики
Loginom: Отчет по регрессии
Критерий выбора статистической модели из некоторого конечного набора. Предпочтение отдается модели с минимальным значением критерия.
Критерий основан на использовании функции правдоподобия и тесно связан с информационным критерием Акаике. Предложен Gideon E. Schwarz в 1978 году. Однако, поскольку при разработке подхода автор использовал и адаптировал идеи Байеса, за критерием закрепилось два варианта названия — Шварца и Байеса.
В основе подхода лежит тот факт, что при увеличении числа параметров модели значение функции правдоподобия растет, но при этом возможно наступление эффекта переобучения. Под переобучением модели в данном случае понимается, что когда параметров модели оказывается слишком много, то доля каждого из них в объясняющей способности модели становится малой и они теряют свою значимость.
Поэтому задача выбора модели заключается в том, чтобы включить в нее минимум параметров, которые, тем не менее, вносили бы наибольший вклад в значение функции правдоподобия. Значение критерия вычисляется по формуле:
,
где — максимальное значение функции правдоподобия наблюдаемой выборки с известным числом параметров, — число параметров модели, — объем обучающей выборки.
BIC широко применяется для анализа временных рядов и решения задач линейной регрессии.