Гиперпараметры (Hyperparameters)

Разделы: Алгоритмы

В машинном обучении гиперпараметрами называют параметры алгоритмов, значения которых устанавливаются перед запуском процесса обучения. В этом смысле они и отличаются от обычных параметров, вычисляемых в процессе обучения. Гиперпараметры используются для управления процессом обучения.

Примеры параметров — это веса нейронов в нейронных сетях и ошибка на выходе сети, расстояние между объектами в кластеризации, значения дискриминационных порогов в классификации и т.д.

К гиперпараметрам можно отнести:

• в нейронных сетях — крутизну активационной функции, число скрытых слоев и нейронов в них, коэффициент скорости обучения, момент, число итераций обучения, уровень ошибки и долю распознанных примеров, при которых обучение останавливается;
• в деревьях решений — минимальное число обучающих примеров в узле, максимальная глубина дерева;
• в алгоритмах кластеризации с помощью карт Кохонена — число создаваемых кластеров, начальный радиус обучения и коэффициент скорости обучения;
• в ассоциативных правилах — минимальные и максимальные значения поддержки и достоверности правил;
• в логистической регрессии — значения дискриминационного порога.

В различных модификациях известных алгоритмов авторы могут использовать специфические гиперпараметры.

При валидации модели создается кортеж гиперпараметров и для каждого их значения определяется значение функции потерь (ошибки). Затем выбирается набор гиперпараметров, который соответствует лучшей модели.