ML в задачах высокого риска: кредиты, медицина и контроль решений модели

Модель, которая рекомендует товары, может ошибаться без серьёзных последствий: покупатель просто пролистает неудачную рекомендацию. Модель, которая решает, выдать ли кредит, помогает врачу заметить болезнь на снимке или отбирает кандидатов на работу, ошибаться так же свободно не может. Такие системы называют системами высокого риска, и к их разработке и внедрению нужен особый подход.

Что относится к высокому риску

• Финансы — кредитный скоринг, страхование, выявление мошенничества
• Медицина — анализ снимков, поддержка диагностики, приоритизация пациентов
• Найм и управление персоналом — отбор резюме, оценка сотрудников
• Образование — оценка студентов, допуск к программам
• Безопасность — распознавание лиц, контроль доступа
• Критическая инфраструктура — энергетика, транспорт, водоснабжение

Общее у них одно: решение влияет на жизнь, здоровье, деньги или права людей. В ряде стран для таких систем вводится специальное регулирование — например, в Европейском союзе принят закон об искусственном интеллекте, где выделена категория систем высокого риска. Компаниям в Узбекистане, работающим с зарубежными партнёрами, стоит следить за такими требованиями.

Объяснимость

В задачах высокого риска недостаточно, чтобы модель была точной. Нужно понимать, почему она приняла решение:

• клиент, которому отказали в кредите, вправе знать причину
• врач должен видеть, на что модель обратила внимание на снимке
• аудитор должен проверить, что модель не использует запрещённые факторы

Подходы: использовать интерпретируемые модели там, где их точности достаточно; для сложных моделей применять методы объяснения вклада признаков в конкретный прогноз; документировать логику модели.

Предвзятость

Модель учится на исторических данных, а в них могут быть отражены прошлые несправедливые решения. Если раньше определённой группе людей чаще отказывали, модель может воспроизвести это. Даже если пол или возраст не используются напрямую, модель может опираться на связанные с ними признаки — например, район проживания.

Что делать:

1. Проверять качество модели отдельно по разным группам
2. Анализировать, какие признаки влияют на решения
3. Исключать признаки, которые служат заменой запрещённых
4. Привлекать экспертов предметной области к оценке

Человек в контуре решения

Для критичных решений модель должна помогать человеку, а не заменять его. Схемы:

• Модель рекомендует, человек решает — врач видит подсказку, но ставит диагноз сам
• Модель обрабатывает очевидные случаи, сложные передаёт человеку — уверенные одобрения автоматически, пограничные — специалисту
• Человек проверяет выборку решений модели — регулярный аудит

Важно, чтобы человек не начал слепо доверять модели. Специалисты должны понимать её ограничения и иметь возможность и время не согласиться.

Качество данных и проверка

Требования к проверке выше, чем в обычных проектах:

• проверка на данных из разных периодов и источников
• проверка на редких, но важных случаях
• оценка не только средней точности, но и цены разных ошибок: пропустить мошенничество и заблокировать честного клиента — разные последствия
• документирование данных, на которых обучена модель, и их ограничений

Мониторинг после запуска

Условия меняются: экономическая ситуация, поведение клиентов, оборудование в больнице. Модель, хорошо работавшая при запуске, может деградировать. Нужен постоянный мониторинг качества, распределения входных данных и решений, а также процедура остановки модели и возврата к ручному процессу при проблемах.

Документация и ответственность

• Описание назначения модели и границ применения
• Данные для обучения и их ограничения
• Результаты проверки, в том числе по группам
• Ответственные за модель и её решения
• Порядок обжалования решений

Защита данных

Системы высокого риска обычно работают с чувствительными данными: финансовыми, медицинскими. Требования законодательства о персональных данных, ограничение доступа, обезличивание при разработке — обязательная часть проекта.

Если вы планируете применять машинное обучение в чувствительной области, напишите — поможем спроектировать систему с нужным уровнем контроля.