Обучение с учителем и без: какие задачи бизнеса решает каждый подход

Почти любой проект машинного обучения начинается с вопроса: есть ли у нас правильные ответы на прошлых примерах? От ответа зависит подход. Если компания знает, какие клиенты ушли, какие сделки закрылись и какие счета оказались мошенническими, можно учить модель «с учителем». Если готовых ответов нет, а нужно понять структуру данных, используют обучение «без учителя».

Обучение с учителем

Модели показывают примеры, где известны и входные данные, и правильный результат. Например, история заявок с отметкой «купил / не купил». Модель ищет связь между признаками заявки и исходом, а потом предсказывает исход для новых заявок. «Учитель» здесь — это разметка, то есть колонка с правильными ответами.

Две главные задачи этого типа:

• Классификация — выбрать категорию: уйдёт клиент или нет, спам или нет, какой отдел должен обработать обращение
• Регрессия — предсказать число: объём продаж на следующую неделю, срок доставки, загрузку смены

Обучение без учителя

Здесь правильных ответов нет. Модель получает данные и ищет в них устойчивые структуры: похожих клиентов, необычные операции, связанные товары. Результат требует интерпретации человеком: алгоритм скажет, что клиенты делятся на пять групп, но назвать эти группы и решить, что с ними делать, должен маркетолог или руководитель.

Типичные задачи:

• Кластеризация — сегменты клиентов, группы товаров со схожим спросом
• Поиск аномалий — подозрительные транзакции, нетипичные показания датчиков
• Снижение размерности — сжатие десятков признаков до нескольких для анализа и визуализации
• Поиск ассоциаций — какие товары покупают вместе

Как выбрать подход

Сформулируйте вопрос бизнеса одним предложением. «Кто из клиентов уйдёт в следующем месяце?» — задача с учителем, если в истории есть ушедшие клиенты. «Какие у нас вообще есть типы клиентов?» — задача без учителя. «Какие платежи выглядят странно?» — чаще без учителя, потому что примеров мошенничества мало и они постоянно меняются.

Цена разметки

Главная сложность обучения с учителем — разметка. Если в CRM не фиксировали причину отказа, модель не научится её предсказывать. Иногда разметку приходится создавать вручную: сотрудники просматривают обращения и ставят категории. Это занимает время, и важно, чтобы правила разметки были одинаковыми для всех, иначе модель выучит разнобой.

Комбинированные варианты

На практике подходы часто сочетают. Сначала кластеризация помогает увидеть группы клиентов, затем по каждой группе строится модель прогноза. Или модель без учителя отмечает подозрительные операции, аналитик проверяет часть из них, и эти проверенные случаи становятся разметкой для модели с учителем. Существует и частичное обучение, когда размечена только небольшая часть данных.

Пример из розницы

Сеть магазинов хочет снизить списания скоропортящихся товаров. Задача с учителем: по истории продаж, дню недели, погоде и акциям предсказать спрос на каждую позицию в каждом магазине. Правильные ответы есть — это фактические продажи прошлых периодов. Параллельно задача без учителя: сгруппировать магазины по характеру спроса. Окажется, что магазины у вокзала, в спальных районах и возле вузов ведут себя по-разному, и для каждой группы стоит строить свою модель или хотя бы добавлять признак группы. Ни один подход по отдельности не дал бы такого результата.

Как проверяют качество

В обучении с учителем всё относительно просто: часть размеченных данных откладывают, модель на них не учится, а потом сравнивают её ответы с известными. В обучении без учителя эталона нет, поэтому качество оценивают косвенно: устойчивы ли группы при повторном запуске, понятны ли они специалистам, меняется ли что-то в работе, если действовать по сегментам.

Типичные ошибки

• Начинать с выбора алгоритма, а не с вопроса бизнеса
• Считать результат кластеризации истиной, а не гипотезой для проверки
• Обучать модель с учителем на разметке, которую разные сотрудники ставили по-разному
• Не проверять модель на данных, которые она не видела при обучении

С чего начать компании

Посмотрите, какие исходы уже фиксируются в учёте и CRM: оплата, возврат, отказ, повторная покупка. Это готовая разметка для первых задач с учителем. Если таких полей нет, начните их собирать сейчас, а пока используйте методы без учителя для разведки данных.