Локальный минимум (Local minimum)

В математическом анализе и численных методах под локальным минимумом понимают экстремум функции в точке, значение которой минимально в некоторой локальной области определения.

Пусть некоторая функция $f\left(x\right)$ имеет область определения $X$. Тогда говорят, что функция $f\left(x\right)$ имеет локальный минимум в точке $x^{\prime }$, если существует $\delta >0$, такая, что $f\left(x^{\prime }\right)\le f\left(x\right)$ для всех $x\in X$ окрестности $x^{\prime }\pm \delta$.

Понятие локального минимума имеет большое значение в области оптимизации, задачи которой лежат в основе алгоритмов обучения искусственных нейронных сетей, генетических алгоритмов, машин опорных векторов, алгоритма муравьиной колонии и др.

Например, в алгоритме обратного распространения ошибки для коррекции весов нейросети используется градиентный спуск, продвигающийся к минимуму целевой функции в соответствии с локальным наклоном поверхности ошибки. Он хорошо работает в случае сильно изрезанных невыпуклых поверхностей, которые встречаются в практических задачах.

В одних случаях локальный минимум является приемлемым решением, если выходная ошибка сети меньше заданной, в других — неприемлемым. Если решение неудовлетворительно, приходится давать весам новые начальные случайные значения и повторно обучать сеть.