Обучение с шумом (Noise learning)

Обучение с шумом — метод обучения нейронных сетей, который позволяет градиентным алгоритмам обучения «выходить» из локальных минимумов, основанный на введении небольшой случайной составляющей в величину коррекции весов нейронов.

Одним из недостатков градиентных методов обучения нейронных сетей является то, что при попадании в точку минимума целевой функции корректировка весов прекращается, т.е. алгоритм останавливается. Это связано с тем, что величина коррекции весов нейронов определяется значением производной целевой функции, которая в точке минимума равна 0.

Следовательно, обучение будет идти только до первого минимума, который, возможно, является локальным. Однако, если ввести небольшую дополнительную случайную коррекцию весов, то она позволит «вытолкнуть» алгоритм из локального минимума, и он продолжит работу, что даст возможность ему обнаружить другие минимумы.

Хотя введение шума в алгоритм несколько уменьшает точность подстройки весов, тем не менее часто позволяет обнаружить состояние сети наиболее близкое к оптимальному.

Кроме этого, добавление небольшой шумовой составляющей в обучающее множество во многих случаях позволяет улучшить обобщающую способность нейросетевой модели.