Дельта-правило (Delta rule)

Разделы: Алгоритмы

Дельта-правило — метод обучения перцептрона на основе градиентного спуска. Дельта-правило развилось из первого и второго правил Хебба. Его дальнейшее развитие привело к созданию алгоритма обратного распространения ошибки. Правило основывается на уменьшении выходной ошибки перцептрона.

Пусть , — вектор входных сигналов, а вектор — вектор сигналов, которые должны быть получены от перцептрона под воздействием входного вектора. Здесь — число нейронов, составляющих перцептрон. Входные сигналы, поступив на входы перцептрона, были взвешены и просуммированы, в результате чего получен вектор выходных значений перцептрона. Тогда можно определить вектор ошибки , размерность которого совпадает размерностью вектором выходных сигналов.

Компоненты вектора ошибок определяются как разность между ожидаемыми и фактическими значениями на выходных нейронах персептрона:

.

При таких обозначениях формулу для корректировки -го веса -го нейрона можно записать следующим образом:

,

номер сигнала изменяется в пределах от единицы до размерности входного вектора . Номер нейрона изменяется в пределах от единицы до количества нейронов . Величина — номер текущей итерации обучения.

Таким образом, вес входного сигнала нейрона изменяется в сторону уменьшения ошибки пропорционально величине суммарной ошибки нейрона. Часто вводят коэффициент пропорциональности , на который умножается величина ошибки. Этот коэффициент называют скоростью обучения.

Таким образом, итоговая формула для корректировки весов:

.

results matching ""

    No results matching ""