Data engineer: кто строит хранилища и потоки данных

Data engineer, или инженер данных, отвечает за то, чтобы данные из разных систем компании надёжно попадали туда, где с ними работают аналитики, отчёты и модели. Если сравнить данные с водой, то аналитик и data scientist — те, кто её использует, а инженер данных — тот, кто проложил трубы, поставил фильтры и следит, чтобы напор не пропадал.

Чем занимается

• Интеграция источников. Забирает данные из учётных систем, CRM, сайта, мобильного приложения, рекламных кабинетов, внешних API
• Построение хранилища. Проектирует структуру, где данные лежат в удобном для анализа виде
• Цепочки обработки. Пишет и поддерживает процессы извлечения, преобразования и загрузки (ETL или ELT)
• Расписание и мониторинг. Следит, чтобы загрузки шли вовремя, а сбои быстро обнаруживались
• Качество данных. Проверки на пропуски, дубликаты, аномалии
• Производительность. Оптимизирует запросы и хранение, чтобы отчёты работали быстро
• Доступы и безопасность. Кто к каким данным имеет доступ, как защищены персональные данные

Чем отличается от смежных ролей

Data analyst использует подготовленные данные, чтобы отвечать на вопросы бизнеса и строить отчёты. Он пишет SQL-запросы и работает в BI, но обычно не строит инфраструктуру.

Data scientist строит модели машинного обучения и проводит исследования. Ему нужны чистые данные, которые подготовил инженер.

Разработчик backend создаёт приложения, которые порождают данные. Инженер данных забирает эти данные для аналитики.

Администратор баз данных отвечает за работоспособность и безопасность конкретных СУБД, резервное копирование и производительность рабочих систем.

В небольших компаниях эти роли совмещают, и это нормально, пока объём работы позволяет.

Инструменты

• SQL — базовый язык, без которого работа невозможна
• Python — для скриптов загрузки, преобразований, работы с API
• Базы данных: PostgreSQL, колоночные аналитические СУБД вроде ClickHouse, облачные хранилища
• Оркестрация: Apache Airflow и аналоги для запуска цепочек по расписанию
• Трансформации: dbt и похожие инструменты для описания преобразований как кода
• Потоки: Kafka и аналоги, если данные нужно обрабатывать в реальном времени
• Распределённая обработка: Spark для действительно больших объёмов
• Git и контейнеры для управления кодом и развёртыванием

Когда компании нужен инженер данных

• Аналитики тратят большую часть времени на ручные выгрузки и сведение таблиц
• Отчёты строятся из нескольких систем и регулярно расходятся
• Данных стало больше, чем выдерживают Excel и прямые запросы к рабочей базе
• Компания планирует машинное обучение, но данных для него в удобном виде нет
• Обновление отчётов ломается, и никто не знает почему

Если у компании одна учётная система и несколько простых отчётов, отдельный инженер данных не нужен.

Штат или подрядчик

Внешний подрядчик подходит для первоначального построения хранилища и цепочек: архитектура, основные источники, документация. Затем поддержка может перейти к внутреннему специалисту.

Штатный инженер нужен, когда источники постоянно добавляются, требования меняются, а данные критичны для ежедневной работы.

Важно, чтобы после работы подрядчика осталась документация: схема хранилища, описание источников, инструкции по восстановлению после сбоев.

Что спросить у кандидата или подрядчика

1. Как вы обнаружите, что загрузка данных прошла с ошибкой или не прошла?
2. Как будете обрабатывать изменения в структуре источника?
3. Как организуете повторную загрузку за прошлый период без дублей?
4. Где и как будет храниться документация?
5. Как защитите персональные данные клиентов в хранилище?

Ответы показывают, думает ли специалист о надёжности или только о первом запуске.

Ошибки

• Найм data scientist без инженера данных: модели не на чем строить
• Хранилище без документации, понятное только автору
• Отсутствие мониторинга: о сбое узнают от руководителя, у которого пустой отчёт
• Сложная инфраструктура big data там, где хватило бы одной аналитической базы

Если вам нужно построить хранилище данных или навести порядок в существующих выгрузках, расскажите о своих системах — предложим архитектуру.