Интеграция данных: ETL и общие справочники

Интеграция данных — объединение информации из разных систем компании так, чтобы её можно было использовать вместе. Типичная ситуация в Ташкенте: заказы приходят с сайта и через Telegram-бота, сделки ведутся в amoCRM или Битрикс24, отгрузки и оплаты — в 1С, планы — в Excel. Каждая система по отдельности работает, но ответ на вопрос «сколько заработали на клиентах, пришедших из Instagram» требует сведения всех четырёх.

Два вида интеграции

Операционная. Системы обмениваются данными в процессе работы: заказ с сайта создаёт сделку в CRM, оплата в 1С меняет статус сделки. Цель — чтобы сотрудники не вводили одно и то же дважды.

Аналитическая. Данные из всех систем собираются в одно хранилище для отчётов и анализа. Цель — единая картина.

Эта статья в основном о второй, но многие принципы общие.

ETL и ELT

ETL — извлечение (extract), преобразование (transform), загрузка (load). Данные забираются из источника, приводятся в порядок и уже чистыми загружаются в хранилище.

ELT — сначала загрузка сырых данных в хранилище, потом преобразование внутри него. Этот подход стал популярен с появлением мощных аналитических баз: сырые данные сохраняются, и преобразования можно переделать без повторной выгрузки.

Для средней компании выбор между ними менее важен, чем дисциплина: все шаги описаны, запускаются по расписанию и проверяются.

Главная проблема — справочники

Технически выгрузить данные из системы несложно. Сложно их сопоставить:

• Клиент в CRM «ООО Строй Мастер», в 1С «Stroy Master MChJ», в таблице «Строймастер»
• Товар на сайте имеет артикул поставщика, в 1С — внутренний код
• Менеджер в CRM записан по имени, в 1С — по табельному номеру
• Филиал называется по-разному в разных системах

Без единых справочников объединение даёт дубли и потери. Решения:

1. Общий ключ. Для юрлиц — ИНН, для физлиц — нормализованный телефон, для товаров — единый код
2. Ведущая система. Для каждого справочника назначается система-источник истины. Например, товары создаются только в 1С, а остальные системы получают их оттуда
3. Таблица соответствий. Если общего ключа нет, создаётся таблица, где коду из одной системы сопоставлен код из другой
4. Управление мастер-данными (MDM) — в крупных компаниях отдельный процесс и система для ведения справочников

Как построить интеграцию по шагам

1. Перечислите источники и данные, которые нужны из каждого
2. Определите способ получения: API, прямое подключение к базе, выгрузка файлов, вебхуки
3. Назначьте ведущие системы для каждого справочника
4. Определите ключи сопоставления и почистите существующие данные
5. Выберите частоту обновления: раз в сутки, раз в час, в реальном времени
6. Настройте контроль: количество загруженных строк, сверка итогов с источником, уведомления о сбоях
7. Задокументируйте все потоки

Контроль качества

После каждой загрузки полезно автоматически проверять:

• Пришли ли данные за ожидаемый период
• Совпадает ли сумма продаж с итогом в источнике
• Нет ли записей без ключа связи
• Не появились ли новые значения статусов, которых нет в справочнике

Сбой должен вызывать уведомление ответственному, а не обнаруживаться через неделю по странным цифрам.

Инструменты

От скриптов на Python с запуском по расписанию до специализированных платформ интеграции и оркестраторов вроде Apache Airflow. Для операционной интеграции — готовые коннекторы CRM и учётных систем, сервисы интеграций без кода или разработка через API. Выбор зависит от числа источников, объёмов и наличия команды.

Ошибки

• Начинать с инструмента, а не с карты данных и справочников
• Двусторонняя синхронизация без правила, какая система главная, — данные перезаписывают друг друга
• Интеграция без логирования: непонятно, что и когда пошло не так
• Нет ответственного за справочники, и через полгода в них снова беспорядок

Если вам нужно свести данные нескольких систем в единую картину, опишите, какие программы используются, — поможем спроектировать интеграцию.