Активационная функция нейрона (Activation function)

Синонимы: Функция активации нейрона, Передаточная функция нейрона

В теории нейронных сетей активационной называется функция, аргументом которой является взвешенная сумма входов искусственного нейрона, а значением — выход нейрона:

$y=f\left(S\right)$

$S=\sum _{i=1}^N{w}_i{x}_i$,

где:

• $S$ — взвешенная сумма входов нейрона;
• $N$ — число входов нейрона;
• $w_i$ — вес $i$-го входа нейрона;
• $x_i$ — значение, поступающее по $i$-му входу;
• $f\left(S\right)$ — активационная функция;
• $y$ — выходное значение нейрона (и, соответственно, активационной функции).

От вида и формы используемой активационный функции зависит выбор алгоритма обучения сети, а также качество ее обучения на конкретном обучающем множестве. Параметры активационной функции подбираются экспериментально в процессе обучения.

Первой активационной функцией, используемой в модели нейрона, предложенной У. МакКаллоком и У. Питтсом, была функция единичного скачка, или функция Хевисайда (график (а) на рисунке). Она задается формулой:

$f\left(S\right)=\{\begin{array}{c}0,S<\theta \\ 1,S\ge \theta \end{array}$

Таким образом, пока взвешенная сумма $S$ не превысит некоторый порог $\theta$, нейрон находится в «заторможенном» состоянии, и на его выходе всегда будет 0. Порог θ называют порогом активации или возбуждения, поскольку, как только сумма его превысит, нейрон переходит в «возбужденное» состояние и формирует на выходе 1. В этом случае нейрон называется бинарным.

Недостаток этой функции очевиден — она делает область значений выхода нейрона ограниченной и, по сути, сводит все возможности такой нейронной сети к решению задачи бинарной классификации. Чтобы аппроксимировать более сложные зависимости, нужно увеличивать число бинарных нейронов.

Эту проблему отчасти решает применение функции с линейным порогом (график (б) на рисунке):

$f\left(S\right)=\{\begin{array}{c}0,S<0\\ aS,0⩽S⩽\theta \\ 1,S>\theta \end{array}$,

где $a$ — параметр крутизны.

Использование активационной функции в виде линейного порога расширяет область значений выхода нейрона, но при этом он все еще остается линейным преобразователем, что значительно снижает аппроксимирующие возможности сети. Кроме этого, наличие двух точек разрыва, где функция не дифференцируема, делает невозможным использование линейного порога в градиентных алгоритмах обучения, где используется производная активационной функции.

Поэтому при обучении многослойных нейронных сетей наиболее часто используются сигмоидальные активационные функции, названные так за их характерную $S$-образную форму. Примерами таких функций являются гиперболический тангенс (график (в) на рисунке) и логистическая функция (график (г)), задаваемые соответствующими формулами:

$th\left(S\right)=\frac{e^{aS}-e^{-aS}}{e^{aS}+e^{-aS}}$

$f\left(S\right)=\frac{1}{1+e^{-aS}}$

Это монотонно возрастающие функции, дифференцируемые на всей области определения, что делает их применимыми в алгоритмах обучения, использующих производные активационной функции. Обычно все нейроны сети имеют одинаковую активационную функцию.

В Loginom встроено два обработчика, решающих задачу классификации и регрессии — нейросеть (классификация) и нейросеть (регрессия).