Деревья решений: понятная модель для скоринга и прогнозов

Дерево решений — одна из немногих моделей машинного обучения, логику которой можно показать на одной схеме. Модель задаёт последовательность вопросов о данных: «Клиент покупает больше года?», «Были ли задержки оплаты?», «Сумма заказа выше определённой?» Каждый ответ ведёт по ветке к следующему вопросу, пока не приводит к итоговому решению — листу дерева. Именно эта наглядность делает деревья популярными в задачах, где решение нужно объяснять.

Как дерево строится

Алгоритм перебирает признаки и пороги и выбирает тот вопрос, который лучше всего разделяет данные. Например, если среди клиентов с задержками оплаты гораздо больше тех, кто перестал платить совсем, вопрос о задержках окажется наверху. Затем процесс повторяется для каждой ветки отдельно. Остановка происходит, когда группа становится достаточно однородной, слишком маленькой или дерево достигает заданной глубины.

Классификация и регрессия

Дерево может выдавать категорию — «одобрить» или «отклонить», «уйдёт» или «останется» — и тогда в листе стоит преобладающий класс и его доля. А может выдавать число — прогноз суммы, срока, количества, — и тогда в листе стоит среднее значение для попавших туда примеров.

Почему бизнес любит деревья

• Решение можно объяснить: «отказ, потому что у клиента были задержки и сумма выше лимита»
• Модель легко превратить в набор правил и встроить в любую систему
• Не требуется сложная подготовка: дерево работает с числами и категориями, не боится разного масштаба признаков
• Видно, какие признаки важнее всего
• Эксперты могут проверить логику и найти в ней противоречия здравому смыслу

Где применяют

Кредитный скоринг и решение об отсрочке платежа, предварительный отбор заявок, маршрутизация обращений, оценка риска оттока, диагностические сценарии в техподдержке. Часто дерево служит не финальной моделью, а инструментом анализа: оно быстро показывает, какие сочетания факторов связаны с проблемой.

Главная опасность — переобучение

Если дать дереву расти без ограничений, оно будет задавать всё более частные вопросы, пока каждый лист не будет соответствовать единичным примерам. На обучающих данных точность будет идеальной, а на новых — плохой: модель выучила случайности. Защита — ограничение глубины, минимальное число примеров в листе, обрезка лишних веток и обязательная проверка на отложенных данных.

Неустойчивость

Небольшие изменения данных могут заметно изменить структуру дерева: наверху окажется другой вопрос, и вся логика поменяется. Это неудобно, если дерево используют как свод правил. Поэтому при переобучении стоит сравнивать новую версию со старой и понимать, что изменилось.

Ансамбли деревьев

Чтобы получить точность и устойчивость, деревья объединяют в ансамбли. Случайный лес строит много деревьев на разных подвыборках данных и признаков и усредняет их ответы. Градиентный бустинг строит деревья последовательно: каждое следующее исправляет ошибки предыдущих. Такие ансамбли — одни из самых сильных методов для табличных данных, но теряют наглядность одного дерева. Для объяснения их решений используют оценки вклада признаков.

Как выбрать между деревом и ансамблем

Если важна прозрачность и решение будут проверять люди или регулятор — одно неглубокое дерево или ансамбль с инструментами объяснения. Если важна максимальная точность в массовых решениях — ансамбль. Полезная практика: построить оба варианта и посмотреть, насколько ансамбль точнее. Если разница небольшая, простое дерево выигрывает за счёт понятности и простоты поддержки.

Практический совет

Покажите построенное дерево опытным сотрудникам. Если верхние вопросы совпадают с их интуицией — хороший знак. Если модель опирается на странный признак, например на дату заведения карточки клиента, это повод проверить данные на ошибки и утечки информации.