Инжиниринг данных для ИИ: без чего модели в компании не заработают

Компании часто начинают разговор об искусственном интеллекте с выбора модели. Но в реальных проектах большая часть работы уходит не на модель, а на данные: найти их, собрать из разных систем, очистить, связать и обеспечить регулярное обновление. Этим занимается инжиниринг данных. Без него даже лучшая модель будет обучена на неполных и противоречивых данных и даст ненадёжный результат.

Типичная ситуация в компании

Данные разбросаны по системам:

• продажи и склад — в 1С
• клиенты и сделки — в CRM
• заявки — в Telegram-ботах и формах сайта
• реклама — в кабинетах рекламных систем
• планы и отчёты — в таблицах у отдельных сотрудников

В каждой системе свои справочники: клиент в CRM и тот же клиент в 1С могут иметь разные названия и идентификаторы. Чтобы построить модель, например прогноз оттока, нужно связать эти данные вместе.

Что делает инженер данных

1. Подключает источники — настраивает извлечение данных из систем через API, выгрузки, прямое подключение к базам
2. Строит хранилище — единое место для аналитических данных, отдельное от рабочих систем
3. Создаёт конвейеры загрузки — регулярные процессы, которые забирают, преобразуют и загружают данные
4. Обеспечивает качество — проверки на пропуски, дубликаты, аномалии
5. Связывает справочники — единые идентификаторы клиентов, товаров, сотрудников
6. Настраивает доступ — кто и какие данные может видеть

Хранилище данных

Аналитические запросы и обучение моделей не должны нагружать рабочие системы. Поэтому данные копируются в хранилище — отдельную базу, оптимизированную для анализа. Популярные решения — колоночные базы данных и облачные хранилища. Данные в хранилище организуются по слоям: сырые данные как есть, очищенные и связанные данные, готовые витрины для отчётов и моделей.

Конвейеры данных

Конвейер — автоматический процесс, который регулярно выполняет цепочку шагов: извлечь новые данные, очистить, преобразовать, загрузить. Для управления конвейерами используют оркестраторы — инструменты, которые запускают задачи по расписанию, следят за зависимостями и сообщают об ошибках. Конвейер должен быть надёжным: если ночная загрузка упала, утром модель будет работать на устаревших данных.

Качество данных

Проблемы качества — главная причина неудач ИИ-проектов:

• пропущенные значения в важных полях
• дубликаты клиентов
• разные форматы телефонов и адресов
• ошибки ручного ввода
• изменения в источниках, о которых никто не предупредил

Нужны автоматические проверки: количество записей в загрузке, доля пропусков, допустимые диапазоны значений. И нужен владелец данных в бизнесе, который отвечает за правила их заполнения.

Данные для ИИ на текстах

Для языковых моделей и ассистентов, которые отвечают по документам компании, инжиниринг данных тоже необходим: собрать документы из разных хранилищ, извлечь текст, разбить на фрагменты, проиндексировать для поиска, обеспечить обновление при изменении документов и соблюдение прав доступа — сотрудник не должен через ассистента получить документы, к которым у него нет доступа.

Безопасность и персональные данные

Хранилище собирает данные из многих систем, поэтому его защита особенно важна. Разграничение доступа, обезличивание персональных данных там, где они не нужны для анализа, журналирование доступа, соответствие законодательству Узбекистана о персональных данных.

Роли в команде

• Инженер данных — инфраструктура, конвейеры, хранилище
• Аналитик данных — отчёты, исследования, проверка гипотез
• Специалист по машинному обучению — модели и их внедрение
• Владелец данных в бизнесе — правила, качество, приоритеты

В небольших проектах роли совмещаются, но задачи инжиниринга данных никуда не исчезают.

С чего начать

Составьте карту данных: какие системы есть, какие данные в них, кто за них отвечает, как их можно извлечь. Выберите одну бизнес-задачу и постройте для неё конвейер и витрину данных. Если планируете ИИ-проект и хотите начать с правильной основы, напишите — проведём аудит данных.