Информационный критерий Байеса (Bayesian information criterion)

Синонимы: BIC, Критерий Шварца, SC, Schwarz Criterion

Разделы: Метрики

Loginom: Отчет по регрессии

Критерий выбора статистической модели из некоторого конечного набора. Предпочтение отдается модели с минимальным значением критерия.

Критерий основан на использовании функции правдоподобия и тесно связан с информационным критерием Акаике. Предложен Gideon E. Schwarz в 1978 году. Однако, поскольку при разработке подхода автор использовал и адаптировал идеи Байеса, за критерием закрепилось два варианта названия — Шварца и Байеса.

В основе подхода лежит тот факт, что при увеличении числа параметров модели значение функции правдоподобия растет, но при этом возможно наступление эффекта переобучения. Под переобучением модели в данном случае понимается, что когда параметров модели оказывается слишком много, то доля каждого из них в объясняющей способности модели становится малой и они теряют свою значимость.

Поэтому задача выбора модели заключается в том, чтобы включить в нее минимум параметров, которые, тем не менее, вносили бы наибольший вклад в значение функции правдоподобия. Значение критерия вычисляется по формуле:

$BIC=-2\ln \left(L\right)+k\ln \left(n\right)$,

где $L$ — максимальное значение функции правдоподобия наблюдаемой выборки с известным числом параметров, $k$ — число параметров модели, $n$ — объем обучающей выборки.

BIC широко применяется для анализа временных рядов и решения задач линейной регрессии.