Бустинг (Boosting)
Синонимы: Усиление, Улучшение
Разделы: Алгоритмы
В теории машинного обучения — метод построения ансамбля моделей, при котором базовые модели обучаются последовательно и каждая последующая модель ансамбля применяется к результатам на выходе предыдущей.
Таким образом, метод бустинга реализует последовательную композицию алгоритмов обучения, в которой каждый алгоритм должен компенсировать ошибки, допущенные композицией предыдущих алгоритмов.
В основе идеи бустинга лежит вопрос: может ли набор «слабых» обучающих алгоритмов дать в конце концов «сильную» модель? Действительно, различные алгоритмы обучения ошибаются на различных примерах. Тогда первый алгоритм в композиции будет обучаться на всем наборе, второй — на тех примерах, на которых первый допустил ошибку, третий — на тех примерах, где ошиблись первый и второй алгоритмы, и т.д. При этом каждому примеру в зависимости от величины допущенной на нем ошибки присваивается вес, который влияет на вероятность выбора примера для обучения следующего алгоритма композиции.
Перед началом обучения первого алгоритма всем обучающим примерам присваиваются одинаковые начальные веса, равные , где — число примеров. Затем обучается первая модель и вычисляется взвешенная ошибка предсказания, после чего веса примеров модифицируются. При этом, чем выше точность предсказания на данном примере, тем меньший вес ему присваивается, и наоборот.
Общее предсказание ансамбля определяется на основе взвешенного среднего выходов всех моделей ансамбля, если выходная переменная числовая, или по принципу большинства, если выход — метка класса (класс, предсказанный ансамблем, определяется как класс, предсказанный большинством базовых моделей).
В настоящее время разработано достаточно большое количество методов бустинга, среди которых наиболее популярными являются AdaBoost, AnyBoost, BrownBoost, CoBoosting, LPBoost, TotalBoost и др.
В настоящее время бустинг является наиболее популярным, хорошо разработанным и теоретически обоснованным методом построения ансамблей моделей. Преимуществами бустинга являются универсальность, гибкость и высокая обобщающая способность.
Основным недостатком бустинга является то, что поскольку примерам с наибольшей точностью предсказания присваиваются малые веса и они имеют мало шансов попасть на вход следующего алгоритма ансамбля, последние модели обучаются в основном на проблемных примерах, содержащих аномальные значения и ошибки. Это снижает точность ансамбля.
Метод бустинга был предложен Robert Schapire в 1990 г.