Информационный критерий Байеса (Bayesian information criterion)

Синонимы: BIC, Критерий Шварца, SC, Schwarz Criterion

Критерий выбора статистической модели из некоторого конечного набора. Предпочтение отдаётся модели с минимальным значением критерия.

Критерий основан на использовании функции правдоподобия и тесно связан с информационным критерием Акаике. Предложен Gideon E. Schwarz в 1978 году. Однако поскольку при разработке подхода автор использовал и адоптировал идеи Байеса, за критерием закрепилось два варианта названия - Шварца и Байеса.

В основе подхода лежит тот факт, что при увеличении числа параметров модели значение функции правдоподобия растёт, но при этом возможно наступление эффекта переобучения. Под переобучением модели в данном случае понимается, что когда параметров модели оказывается слишком много, то доля каждого из них в объясняющей способности модели становится малой, и они теряют свою значимость.

Поэтому задача выбора модели заключается в том, чтобы включить в неё минимум параметров, которые, тем не менее, вносили бы наибольший вклад в значение функции правдоподобия. Значение критерия вычисляется по формуле:

,

где — максимальное значение функции правдоподобия наблюдаемой выборки с известным числом параметров, – число параметров модели, – объем обучающей выборки.

BIC широко применяется для анализа временных рядов и решения задач линейной регрессии.

results matching ""

    No results matching ""