Среднеквадратическая регрессия (Mean square regression) Скачать в PDF

Синонимы: Least Mean Square Regression, LMS

Среднеквадратическая регрессия — разновидность регрессии, где при определении параметров модели используется обобщение метода наименьших квадратов (МНК) — метод наименьших средних квадратов.

Иными словами, в процессе подгонки модели к данным минимизируется не сумма квадратов остатков регрессии, а их средний квадрат:

$E\left[\right(Y-F\left(X\right){)}^2]$,

где $E$ — операция усреднения, $Y$ — зависимая переменная, $X$ — вектор независимых переменных.

Это становится возможным благодаря тому, что МНК допускает широкое обобщение, когда вместо минимизации суммы квадратов остатков можно минимизировать их некоторую положительно определенную квадратичную форму.

Смысл данного подхода заключается в том, что к результатам классического МНК (т.е. квадратам остатков) применяется дополнительное линейное преобразование — усреднение. Как известно, одним из предположений регрессии является предположение о нормальности остатков, которое в практических случаях не соблюдается. Усреднение позволяет снизить степень влияния отклонения остатков от нормального распределения на качество построенной модели.

Метод наименьших средних квадратов был сформулирован Бернардом Уидроу и Тедом Хоффом в 1960 году и применен при обучении нейронных сетей с помощью алгоритма обратного распространения ошибки.