Байесовский информационный критерий (Bayesian information criterion)

Синонимы: BIC, Критерий Шварца, SC, Schwarz Criterion

Разделы: Метрики

Loginom: Отчет по регрессии

Критерий выбора статистической модели из некоторого конечного набора. Предпочтение отдается модели с минимальным значением критерия.

Критерий основан на использовании функции правдоподобия и тесно связан с информационным критерием Акаике. Предложен Gideon E. Schwarz в 1978 году. Однако, поскольку при разработке подхода автор использовал и адаптировал идеи Байеса, за критерием закрепилось два варианта названия — Шварца и Байеса.

В основе подхода лежит тот факт, что при увеличении числа параметров модели значение функции правдоподобия растет, но при этом возможно наступление эффекта переобучения. Когда параметров модели оказывается слишком много, доля каждого из них в объясняющей способности модели становится малой и они теряют свою значимость.

Поэтому задача выбора модели заключается в том, чтобы включить в нее минимум параметров, которые, тем не менее, вносили бы наибольший вклад в значение функции правдоподобия. Значение критерия вычисляется по формуле:

$BIC=k\cdot \ln \left(n\right)-2\ln \left(\hat{L}\right)$,

где $\hat{L}$ — максимальное значение функции правдоподобия наблюдаемой выборки с известным числом параметров, $k$ — число параметров модели, $n$ — объем обучающей выборки.

$BIC$ широко применяется для анализа временных рядов и решения задач линейной регрессии.