Ансамбли моделей: бустинг и бэггинг простыми словами

Идея ансамблей проста и знакома по жизни: решение группы экспертов обычно надёжнее мнения одного. В машинном обучении ансамбль — это объединение нескольких моделей, чьи прогнозы комбинируются в итоговый ответ. На табличных данных — продажах, клиентах, транзакциях — ансамблевые методы долгое время остаются одними из самых точных, поэтому их полезно понимать даже руководителю, который принимает решения о проектах с данными.

Почему ансамбль работает

Каждая модель ошибается. Но если модели разные и их ошибки не совпадают, при объединении ошибки частично компенсируют друг друга. Важное условие — разнообразие: десять одинаковых моделей дадут тот же результат, что и одна. Разнообразия добиваются, обучая модели на разных подвыборках данных, на разных наборах признаков или разными алгоритмами.

Бэггинг

Бэггинг строит много моделей параллельно и независимо. Каждая обучается на случайной выборке из исходных данных, взятой с повторениями. Итоговый прогноз — голосование для классификации или среднее для регрессии.

Самый известный пример — случайный лес, где базовые модели — деревья решений, а для дополнительного разнообразия каждое разбиение выбирается из случайного подмножества признаков.

Бэггинг в первую очередь снижает разброс: модели, которые по отдельности сильно зависят от случайностей в данных, вместе становятся стабильнее.

Бустинг

Бустинг строит модели последовательно. Каждая следующая модель учится исправлять ошибки предыдущих. Первая модель делает грубый прогноз, вторая фокусируется на том, где первая ошиблась, третья — на оставшихся ошибках, и так далее. Итог — взвешенная сумма всех моделей.

Наиболее популярен градиентный бустинг над деревьями решений. Широко используемые реализации:

• XGBoost — одна из первых высокопроизводительных реализаций
• LightGBM — быстрая работа на больших объёмах данных
• CatBoost — удобная работа с категориальными признаками без ручного кодирования

На соревнованиях по анализу табличных данных и в промышленных задачах градиентный бустинг часто показывает лучшую точность.

Бустинг склонен к переобучению при неудачных настройках, поэтому требует внимательного подбора параметров: скорости обучения, глубины деревьев, количества итераций, а также контроля на отложенных данных.

Стекинг

Стекинг объединяет модели разных типов. Несколько базовых моделей делают прогнозы, а мета-модель учится, как лучше их комбинировать. Например, градиентный бустинг, линейная модель и нейросеть дают прогнозы, а простая модель поверх них решает, кому доверять в каких ситуациях. Стекинг может дать дополнительный прирост точности, но усложняет систему.

Сравнение подходов

Задачи бизнеса

• Кредитный скоринг и оценка рисков
• Прогноз оттока клиентов
• Прогноз спроса и продаж
• Выявление мошеннических операций
• Оценка вероятности конверсии заявки
• Ранжирование товаров в рекомендациях

Цена сложности

Ансамбли точнее, но у них есть издержки:

1. Интерпретация. Сотни деревьев сложно объяснить. Для понимания прогнозов используют методы оценки вклада признаков
2. Ресурсы. Обучение и прогноз требуют больше вычислений
3. Поддержка. Сложная система требует больше усилий при обновлении и мониторинге
4. Риск переобучения при агрессивной настройке

Если простая модель даёт почти ту же точность, лучше выбрать её: её проще объяснить, поддерживать и проверять.

Практический порядок

Начните с простой модели как точки отсчёта, затем попробуйте случайный лес и градиентный бустинг. Сравните на одних и тех же отложенных данных. Оцените, оправдывает ли прирост точности усложнение. Если хотите проверить, какую точность можно получить на ваших данных, напишите — проведём сравнение моделей на вашей задаче.