Метод имитации отжига (Simulated annealing)

Синонимы: Метод модельной закалки

Разделы: Алгоритмы

Метод поиска экстремума целевой функции. Применяется при обучении нейронных сетей и в других задачах многомерной оптимизации.

Происхождение названия метода объясняется тем, что идея позаимствована из области исследования процессов отжига металла. Если раскалить кусок металла, его внутренняя энергия достигнет высокого значения. Это соответствует начальному состоянию "необученной" нейронной сети. Если охлаждение проводить медленно (отжиг), то с плавным уменьшением температуры тепловые колебания узлов решетки около состояния минимума энергии будут плавно уменьшаться, и в результате решетка будет иметь высокую упорядоченность, а энергия системы достигнет глобального минимума. Эта идея лежит в основе математической модели данного метода.

Метод отжига позволяет преодолеть локальные методы и искать глобальный минимум целевой функции. «Плата» за это — медленная работа алгоритма в случае большой размерности целевой функции, так как множество шагов по параметрам сети осуществляется в случайных, ненужных направлениях.

Области применения метода:

results matching ""

    No results matching ""