Коэффициент скорости обучения (Learning rate)

Синонимы: Параметр скорости обучения

Loginom: Нейросеть (классификация) (обработчик), Нейросеть (регрессия) (обработчик)

Коэффициент скорости обучения — это параметр градиентных алгоритмов обучения нейронных сетей, позволяющий управлять величиной коррекции весов на каждой итерации. Например, в алгоритме обратного распространения ошибки он вводится как коэффициент $\eta$ при градиенте:

$\Delta w=-\eta \frac{\partial E}{\partial w}$

Выбирается в диапазоне от 0 до 1. Ноль указывать бессмысленно, поскольку в этом случае корректировка весов вообще производиться не будет.

Выбор параметра противоречив. Большие значения (0,7 — 1) будут соответствовать большому значению шага коррекции. При этом алгоритм будет работать быстрее (т.е. для поиска минимума функции ошибки потребуется меньше итераций). Однако может снизиться точность настройки модели на минимум функции ошибки, что потенциально увеличит ошибку обучения.

Малые значения коэффициента (0,1 — 0,3) соответствуют меньшему шагу коррекции весов. В этом случае число шагов (или эпох) обучения, требуемое для поиска экстремума, как правило, увеличивается, но возрастает и точность настройки алгоритма на минимум функции ошибки, что потенциально уменьшает ошибку обучения. На практике коэффициент скорости обучения обычно подбирают экспериментально.

В алгоритме обучения карт Кохонена скорость обучения не является постоянной величиной, а линейно уменьшается с увеличением числа итераций. В данном случае она определяет скорость убывания величины коррекции весов. Чаще всего используется линейно-убывающая зависимость, т.е. $w_n-w_{n-1}=-{\eta }_n$, где $n$ — номер итерации.

Логика данного подхода проста. На начальных шагах обучения веса нейронов карты далеки от оптимальных, поэтому их можно менять на большие величины (грубая подстройка). По мере приближения весов к желаемым шаг коррекции должен быть уменьшен с целью более точной настройки (точная подстройка).