Функция потерь (Loss function) Скачать в PDF
Синонимы: Целевая функция, Функция ошибки, Error function, Cost function
В математической статистике и машинном обучении функция потерь — это функция, которая отображает некоторое событие в виде действительного числа, интуитивно представляя некоторую «стоимость», связанную с событием. Например, таким событием может быть допущение или не допущение клиентом просрочки по кредиту, а соответствующая функция потерь будет принимать два значения: 0 или 1.
В статистике функция потерь обычно используется для оценки параметров моделей, а рассматриваемое событие является разностью между оцененным и истинным значениями для каждого наблюдения набора данных.
Например, в контексте экономики это обычно экономические издержки или потери. В классификации это «штраф» модели за неправильное распознавание примера. В управлении потери могут быть издержками из-за неспособности достичь желаемого значения управляемых параметров. В управлении финансовыми рисками функция сопоставляется с денежными потерями.
Наиболее часто используемой является квадратичная функция потерь:
,
где — константа, — истинное значение выхода модели (которое должно быть получено в идеальном случае), — фактический выход модели.
Преимуществом квадратичной функции потерь являются инвариантность к знаку — значение функции всегда положительно. Т.е. независимо от знака ошибки результат будет один и тот же. Квадратичная функция потерь используется в моделях, параметры которых оцениваются на основе метода наименьших квадратов, например, линейной регрессии.
В бинарной классификации используется двоичная функция потерь (0-1 loss function), которая определяется следующим образом:
.
Как видно, потери определяются появлением двух взаимоисключающих состояний выхода модели.
Используется также и простая функция потерь, равная разности истинного и фактического выходов модели:
.
Она используется в тех случаях, где важен знак ошибки, например, при обучении нейронных сетей.