Модель машинного обучения: как её обучают, проверяют и обновляют

Моделью машинного обучения называют результат обучения: набор параметров и правил, который по входным данным выдаёт прогноз или решение. В отличие от обычной программы, логику модели не пишут вручную — её выводят из примеров. Поэтому у модели особый жизненный цикл, и заказчику важно понимать его этапы, чтобы правильно планировать проект и бюджет на поддержку.

Постановка задачи

Что именно предсказываем, для кого, как часто и какое решение будет принято по результату. Например: каждую неделю оценивать для каждого клиента вероятность того, что он не сделает заказ в следующем месяце, чтобы менеджеры позвонили клиентам с высоким риском. Здесь же определяется, как будем измерять пользу.

Хорошая постановка содержит ограничения: сколько клиентов менеджеры физически успеют обзвонить, за какое время нужен прогноз, какие данные доступны на момент расчёта. Без этих деталей можно построить точную модель, которую невозможно использовать: например, прогноз, для которого нужны данные, появляющиеся только в конце месяца.

Сбор и подготовка данных

Выгрузка из систем, очистка, объединение, расчёт признаков. Этот этап обычно занимает больше всего времени. Решения, принятые здесь, — какие периоды взять, как обработать пропуски, что считать ответом — сильно влияют на итоговое качество.

Обучение

Алгоритм подбирает параметры модели так, чтобы её ответы на обучающих данных были как можно ближе к правильным. Обычно пробуют несколько алгоритмов и настроек. Важно не переобучить модель: она может запомнить обучающие примеры вместо того, чтобы выучить общие закономерности, и тогда будет плохо работать на новых данных.

Проверка

Для проверки берут отложенную часть данных, не участвовавшую в обучении, желательно из более позднего периода. Сравнивают с простым базовым решением: прогнозом «как в прошлом месяце» или текущим способом работы. Смотрят на ошибки в разрезах: по регионам, категориям, типам клиентов.

Запуск

Модель встраивают в процессы: она получает данные по расписанию или в реальном времени, а результаты попадают в CRM, учёт или отчёт. На этом этапе нужна инженерия: автоматическая подготовка признаков, обработка ошибок, журналирование. Часто начинают с режима подсказки, когда решение принимает человек.

Мониторинг

После запуска нужно следить:

• За качеством прогнозов: сравнивать с фактом, когда он становится известен
• За входными данными: не изменилось ли их распределение, нет ли пропусков из-за сбоев выгрузки
• За использованием: пользуются ли сотрудники рекомендациями
• За технической работой: время отклика, ошибки

Смещение данных

Мир меняется: появляются новые товары, меняются цены, приходят конкуренты, меняются привычки клиентов. Модель, обученная на прошлом, постепенно теряет точность. Это нормально, и признаком хорошей организации является не отсутствие деградации, а её своевременное обнаружение.

Переобучение

Модель регулярно переобучают на свежих данных: по расписанию или когда мониторинг показывает падение качества. Новая версия проходит ту же проверку и сравнивается с текущей. Версии моделей и данных, на которых они обучены, нужно хранить, чтобы при проблемах можно было вернуться к предыдущей.

Что спросить у подрядчика

Как будет организован мониторинг? Кто и как часто переобучает модель? Где хранятся версии? Что произойдёт, если модель перестанет работать? Ответы на эти вопросы важны не меньше, чем точность на презентации.

Закладывайте сопровождение в бюджет с самого начала. Модель без мониторинга и переобучения через какое-то время начнёт давать всё менее точные прогнозы, а сотрудники заметят это раньше аналитиков и перестанут ей доверять.