Информационный критерий Байеса (Bayesian information criterion)
Синонимы: BIC, Критерий Шварца, SC, Schwarz Criterion
Критерий выбора статистической модели из некоторого конечного набора. Предпочтение отдаётся модели с минимальным значением критерия.
Критерий основан на использовании функции правдоподобия и тесно связан с информационным критерием Акаике. Предложен Gideon E. Schwarz в 1978 году. Однако поскольку при разработке подхода автор использовал и адоптировал идеи Байеса, за критерием закрепилось два варианта названия - Шварца и Байеса.
В основе подхода лежит тот факт, что при увеличении числа параметров модели значение функции правдоподобия растёт, но при этом возможно наступление эффекта переобучения. Под переобучением модели в данном случае понимается, что когда параметров модели оказывается слишком много, то доля каждого из них в объясняющей способности модели становится малой, и они теряют свою значимость.
Поэтому задача выбора модели заключается в том, чтобы включить в неё минимум параметров, которые, тем не менее, вносили бы наибольший вклад в значение функции правдоподобия. Значение критерия вычисляется по формуле:
,
где — максимальное значение функции правдоподобия наблюдаемой выборки с известным числом параметров, – число параметров модели, – объем обучающей выборки.
BIC широко применяется для анализа временных рядов и решения задач линейной регрессии.