Признаки в машинном обучении: как данные компании превращаются в модель

Модель машинного обучения не понимает, что такое клиент, заказ или товар. Она работает с признаками — числовыми и категориальными характеристиками объекта. Клиент для модели — это набор: сколько раз покупал, когда последний раз, на какую сумму в среднем, из какого района, пользуется ли бонусной картой. Качество модели в первую очередь определяется тем, насколько удачно выбраны признаки. Опытные специалисты по данным говорят, что работа с признаками часто важнее выбора алгоритма.

Что такое признак

Признак — измеримое свойство объекта, которое модель использует для прогноза. В таблице данных объекты — это строки, признаки — столбцы. Целевая переменная — то, что модель учится предсказывать: уйдёт ли клиент, сколько продадим, станет ли заявка продажей.

Виды признаков

1. Числовые — количество покупок, сумма, возраст, расстояние
2. Категориальные — город, канал привлечения, категория товара
3. Бинарные — да или нет: есть ли бонусная карта, подписан ли на рассылку
4. Временные — дата и время, из которых извлекают день недели, месяц, праздник
5. Текстовые — комментарии, описания, обращения; их превращают в числа отдельными методами

Создание признаков из сырых данных

В CRM или учётной системе данные хранятся как история событий: заказы, звонки, обращения. Модели нужна одна строка на объект. Поэтому из истории вычисляют признаки:

• количество заказов за разные периоды
• дни с последнего заказа
• средний и максимальный чек
• доля заказов со скидкой
• количество обращений в поддержку
• изменение активности: последние месяцы по сравнению с предыдущими

Именно здесь нужны знания о бизнесе. Специалист по продажам знает, что клиенты, которые перестали открывать рассылки, часто уходят, и это подсказывает полезный признак.

Кодирование категорий

Большинству моделей нужны числа. Категории преобразуют:

• One-hot кодирование — для каждой категории отдельный столбец с отметкой да или нет. Подходит, когда категорий немного
• Кодирование по частоте или по среднему значению цели — когда категорий много, например сотни товаров
• Некоторые алгоритмы, например отдельные реализации градиентного бустинга, умеют работать с категориями напрямую

Пропуски и выбросы

В реальных данных всегда есть пропуски: клиент не указал дату рождения, менеджер не заполнил источник. Варианты:

• заполнить средним, медианой или наиболее частым значением
• добавить признак «значение отсутствует» — иногда сам факт пропуска информативен
• удалить объекты с пропусками, если их мало

Выбросы — необычные значения, например опечатка в сумме заказа. Их нужно найти и решить, ошибка это или реальный редкий случай.

Утечка данных

Самая опасная ошибка — использовать признаки, которые неизвестны на момент прогноза. Например, при прогнозе, станет ли заявка продажей, использовать поле «дата оплаты». Модель покажет отличную точность на исторических данных и будет бесполезна на практике. Правило: для каждого признака спрашивайте, будет ли это значение известно в момент, когда нужно сделать прогноз.

Отбор признаков

Больше признаков — не всегда лучше. Лишние признаки добавляют шум, замедляют обучение и усложняют интерпретацию. Методы отбора:

• оценка важности признаков в модели
• удаление сильно коррелирующих друг с другом признаков
• проверка, ухудшается ли качество при удалении признака

Масштабирование

Для некоторых алгоритмов — линейных моделей, нейросетей, методов на основе расстояний — важно привести признаки к сопоставимому масштабу. Деревья решений и основанные на них методы к масштабу не чувствительны.

Практический совет

Начните с простых, понятных признаков, обучите базовую модель и посмотрите на результат. Затем добавляйте признаки по одному, проверяя, улучшается ли качество. Привлекайте сотрудников, которые знают процесс: они подскажут факторы, о которых аналитик не догадается. Если хотите проверить, что можно спрогнозировать на данных вашей компании, напишите — проведём анализ данных.