Обучение с подкреплением: где в бизнесе оно применяется

Обучение с подкреплением — третий большой подход машинного обучения наряду с обучением с учителем и без учителя. Здесь нет готовых правильных ответов. Система, которую называют агентом, совершает действия в некоторой среде, получает за них награду или штраф и постепенно учится выбирать действия, которые приносят наибольшую суммарную награду в долгосрочной перспективе.

Основные понятия

• Агент — тот, кто принимает решения: программа управления складом, робот, система рекомендаций
• Среда — то, с чем взаимодействует агент: склад со спросом, цех, пользователи сайта
• Состояние — текущая ситуация: остатки, время, положение робота
• Действие — выбор агента: заказать товар, изменить цену, показать рекомендацию
• Награда — численная оценка результата: прибыль, выполненный заказ, клик

Ключевая особенность — учёт последствий. Действие, выгодное сейчас, может навредить завтра, и агент учится это учитывать.

Чем отличается от прогноза

Модель с учителем отвечает «что будет», а решение принимает человек или правило. Обучение с подкреплением учит сразу политике действий: «что делать в этой ситуации». Это мощно, но требует возможности много раз пробовать и ошибаться.

Где применяется

• Управление запасами: когда и сколько заказывать с учётом спроса, сроков поставки и хранения
• Динамическое ценообразование: как менять цены в течение сезона
• Рекомендации: какой контент или товар показать, чтобы пользователь остался надолго, а не кликнул один раз
• Робототехника: обучение захвату и перемещению предметов
• Управление энергопотреблением зданий и оборудования
• Маршрутизация и диспетчеризация в логистике

Проблема экспериментов

Агенту нужно много проб. В реальном бизнесе это опасно и дорого: нельзя тысячу раз ошибиться с ценой или запасами, чтобы научиться. Поэтому обучение проводят в симуляторе — модели среды, построенной по историческим данным. Качество симулятора определяет, насколько стратегия перенесётся в реальность. Если симулятор упрощает спрос, агент выучит стратегию для несуществующего мира.

Многорукие бандиты

Упрощённый вариант, который часто полезнее полноценного обучения с подкреплением, — так называемые многорукие бандиты. Система выбирает между несколькими вариантами, например версиями баннера или предложения, и постепенно отдаёт больше показов лучшему, продолжая немного проверять остальные. Это практичная замена классическому тестированию вариантов.

Бандиты не учитывают долгосрочные последствия, зато просты в реализации и почти не требуют симулятора: они учатся прямо на реальных показах, а риск ограничен тем, что все варианты заранее допустимы. Для сайтов, рассылок и приложений это хорошая первая ступень перед более сложными методами.

Риски

• Агент находит лазейки в функции награды и оптимизирует не то, что задумано
• Поведение сложно объяснить
• Стратегия может быть неустойчивой при изменении условий
• Ошибки в реальной среде дорого стоят
• Нужны специалисты редкой квалификации и много вычислений

Пример лазейки: если наградить систему рекомендаций только за клики, она может научиться показывать кликбейт вместо полезных товаров.

Когда стоит рассматривать

Решения последовательные, и каждое влияет на следующие. Есть надёжный симулятор или возможность безопасных экспериментов. Простые правила и прогнозы уже внедрены и упёрлись в потолок. Есть команда с опытом.

Когда не стоит

Если задача решается прогнозом и правилом, начните с них. Большинству компаний обучение с подкреплением нужно редко; это инструмент для зрелых в данных организаций и узких задач.