Дельта-правило (Delta rule)

Разделы: Алгоритмы

Термин введен применительно к обучению нейронных сетей.

Дельта-правило — метод обучения перцептрона по принципу градиентного спуска по поверхности ошибки. Дельта-правило развилось из первого и второго правил Хебба. Его дальнейшее развитие привело к созданию метода обратного распространения ошибки.

Правило основывается на уменьшении ошибки между реальным выходом нейрона и требуемым значением. Оно реализует градиентный спуск вдоль функции ошибок.

Пусть вектор , — вектор входных сигналов, а вектор — вектор сигналов, которые должны быть получены от перцептрона под воздействием входного вектора. Здесь — число нейронов, составляющих перцептрон. Входные сигналы, поступив на входы перцептрона, были взвешены и просуммированы, в результате чего получен вектор выходных значений перцептрона. Тогда можно определить вектор ошибки , размерность которого совпадает размерностью вектором выходных сигналов.

Компоненты вектора ошибок определяются как разность между ожидаемым и реальным значением выходного сигнала перцептронного нейрона:

.

При таких обозначениях формулу для корректировки -го веса -го нейрона можно записать следующим образом:

,

номер сигнала изменяется в пределах от единицы до размерности входного вектора . Номер нейрона изменяется в пределах от единицы до количества нейронов . Величина — номер текущей итерации обучения.

Таким образом, вес входного сигнала нейрона изменяется в сторону уменьшения ошибки пропорционально величине суммарной ошибки нейрона. Часто вводят коэффициент пропорциональности , на который умножается величина ошибки. Этот коэффициент называют скоростью или нормой обучения.

Таким образом, итоговая формула для корректировки весов:

.

results matching ""

    No results matching ""