Метод максимального правдоподобия (Maximum likelihood estimation)

Синонимы: MLE, Метод наибольшего правдоподобия

Разделы: Алгоритмы

В математической статистике метод максимального правдоподобия — это метод оценки параметров вероятностного распределения с помощью максимизации функции правдоподобия. Точка в пространстве параметров, которая максимизирует функцию правдоподобия, называется оценкой максимального правдоподобия.

Предположим, что имеется некоторый набор наблюдений, который является случайной выборкой из некоторой неизвестной совокупности. Целью оценки максимального правдоподобия являются выводы о совокупности, из которой была сформирован выборка, в частности, о совместном распределении вероятностей случайных величин $(y_1,y_2,...,y_n)$, не обязательно независимых и одинаково распределенных.

С каждым распределением вероятностей связан уникальный вектор $\theta =({\theta }_1,{\theta }_2,...,{\theta }_k{)}^T$, которые индексируют распределение вероятностей в параметрическом семействе. Пространство параметров полагается евклидовым и имеющим конечную размерность.

Оценка совместной плотности на наблюдаемой выборке данных $y=(y_1,y_2,...,y_n)$ это вещественная функция $L_n\left(\theta \right)=L_n(\theta ;y)=f_n(y;\theta )$, которая называется функцией правдоподобия. Для независимых и одинаково распределённых случайных переменных, $f_n(y;\theta )$ будет произведением одномерных функций плотности. Целью оценки максимального правдоподобия является поиск значений параметров модели, которые максимизируют функцию правдоподобия в пространстве параметров, то есть

$\hat{\theta }=argmax{\hat{L}}_n(\theta ;y)$

Такой выбор параметров делает наблюдаемые данные наиболее вероятными. Определённое значение $\hat{\theta }={\theta }_n\left(y\right)$, которое максимизирует функцию правдоподобия $L_n$ называются оценками максимального правдоподобия.