Тест отношения правдоподобия (Likelihood-ratio test)

Синонимы: Тест Уилкса, Wilks’s test, LR-test

Разделы: Метрики

Тест отношения правдоподобия — это статистическая процедура для оценивания степени соответствия данным двух статистических моделей, одна из которых строится на множестве всех доступных переменных выборки, а другая только на некотором их подмножестве.

Иными словами, цель применения теста заключается в том, чтобы подтвердить или опровергнуть гипотезу, что модель с меньшим числом переменных (короткая модель) не будет значимо отличаться по качеству от модели с большим числом переменных (длинной модели). При этом модели полагаются вложенными, т.е. короткую модель можно получить из длинной путём наложения ограничений на её параметры.

Цель применения теста в предсказательном моделировании — снижение размерности пространства входных признаков. Действительно, чем больше переменных мы используем для построения модели, тем больше информации привлекается, и тем лучше модель, как ожидается, будет соответствовать данным. Однако на практике не все входные переменные являются одинаково информативными и значимо влияют на выходную переменную. Включение таких переменных в модель только усложняет её, не улучшая существенно качество.

Таким образом, если удастся обнаружить малозначимые переменные и доказать,что модель без них будет работать не хуже (или незначительно хуже), чем с ними, то эти переменные можно исключить без значимого ущерба для точности модели, заместив длинную модель короткой. Для этого и служит тест отношения правдоподобия.

Статистика теста отношения правдоподобия вычисляется по формуле:

$${\lambda }_{LR}=-2\ln \left(\frac{L\left({\Theta }_0|x\right)}{L\left(\Theta |x\right)}\right),$$

где $L\left(\Theta |x\right)$ — это функции правдоподобия модели без ограничений на параметры (длинной модели), и $L\left({\Theta }_0|x\right)$ — функция правдоподобия для модели с ограничениями на параметры (короткой модели).

Поскольку все вероятности положительны и ограниченный максимум не может превышать неограниченный максимум, отношение правдоподобия изменяется между нулем и единицей.

Если короткая и длинная модель работают одинаково хорошо, то значения их функции правдоподобия близки, и ${\lambda }_{LR}$ стремится к 0. Если короткая модель работает хуже, чем длинная, т.е. её функция правдоподобия уменьшается, то ${\lambda }_{LR}$ становится больше 0. Статистическую значимость данного увеличения и должен подтвердить или опровергнуть тест.

Для параметров ${\Theta }_0=\Theta \cap {\Theta }_0$ выдвигается простая гипотеза $H_0:\left(\phi \right(\Theta \setminus {\Theta }_0)=0)$. Если $H_0$ верно, то статистика теста отношения правдоподобия имеет (возможно, асимптотическое) распределение по закону ${\chi }^2\left(q\right)$, по которому можно оценить статистическую значимость модели. $\Theta \setminus {\Theta }_0$ — это разность множеств, $\Theta \cap {\Theta }_0$ — пересечение множеств параметров $\Theta$ и ${\Theta }_0$, а $q$ — число ограничений на параметры (т.е. количество параметров, которое нужно исключить из длинной модели, чтобы получить короткую). Оно же равно числу степеней свободы распределения.

На практике чаще всего используется ограничение ${\Theta }_0=\{{\theta }_{i_1}=0,{\theta }_{i_2}=0,...{\theta }_{i_{n-q}}=0\}$ для параметров $\Theta =\{{\theta }_1,{\theta }_2,...{\theta }_n\}$.

Если значение статистики больше критического, которое определяется по таблицам критических значений распределения ${\chi }^2$ для числа степеней свободы $q$ при заданном уровне значимости, то ограничения отвергаются, и предпочтение отдаётся длинной модели, а в противном случае — короткой.