Дельта-правило (Delta rule)

Разделы: Алгоритмы

Дельта-правило — метод обучения перцептрона на основе градиентного спуска. Дельта-правило развилось из первого и второго правил Хебба. Его дальнейшее развитие привело к созданию алгоритма обратного распространения ошибки. Правило основывается на уменьшении выходной ошибки перцептрона.

Пусть $X = x_{1}, x_{2}, . . . x_{r}, . . . x_{m}$ — вектор входных сигналов, а $D = d_{1}, d_{2}, . . . d_{k}, . . . d_{n}$ — вектор сигналов, которые должны быть получены от перцептрона под воздействием входного вектора. Здесь $n$ — число нейронов, составляющих перцептрон. Входные сигналы, поступив на входы перцептрона, были взвешены и просуммированы, в результате чего получен вектор $Y = y_{1}, y_{2}, . . . y_{k}, . . . y_{n}$ выходных значений перцептрона. Тогда можно определить вектор ошибок $E = e_{1}, e_{2}, . . . e_{k}, . . . e_{n}$ , размерность которого совпадает с размерностью вектора выходных сигналов.

Компоненты вектора ошибок определяются как разность между ожидаемыми и фактическими значениями на выходных нейронах персептрона:

$E = D - Y$ .

При таких обозначениях формулу для корректировки $j$ -го веса $i$ -го нейрона можно записать следующим образом:

$w_{j} (t + 1) = w_{j} (t) + e_{i} x_{j}$ ,

номер сигнала $j$ изменяется в пределах от единицы до размерности входного вектора $m$ . Номер нейрона $i$ изменяется в пределах от единицы до количества нейронов $n$ . Величина $t$ — номер текущей итерации обучения.

Таким образом, вес входного сигнала нейрона изменяется в сторону уменьшения ошибки пропорционально величине суммарной ошибки нейрона. Часто вводят коэффициент пропорциональности $η$ , на который умножается величина ошибки. Этот коэффициент называют скоростью обучения.

Таким образом, итоговая формула для корректировки весов:

$w_{j} (t + 1) = w_{j} (t) + η e_{i} x_{j}$ .