Технологии больших данных: хранение и обработка больших объёмов

Технологии больших данных появились, когда обычные базы данных на одном сервере перестали справляться с объёмами интернет-компаний. Основная идея — распределить хранение и вычисления на много машин, которые работают параллельно. Сегодня эти технологии используются в банках, телекоме, ретейле, логистике и производстве.

Слои архитектуры

Типичная система работы с большими данными состоит из нескольких слоёв:

1. Сбор — получение данных из источников: приложений, сайтов, датчиков, учётных систем
2. Передача — потоки событий между системами
3. Хранение — сырые и обработанные данные
4. Обработка — очистка, объединение, расчёты
5. Доступ — аналитика, отчёты, модели машинного обучения

Для каждого слоя есть свои классы инструментов.

Хранение: озёра данных и объектные хранилища

Озеро данных (data lake) — хранилище, куда данные складываются в исходном виде: файлы, логи, выгрузки. Обычно строится на объектном хранилище, совместимом с интерфейсом S3, или на распределённой файловой системе HDFS из экосистемы Hadoop.

Для эффективного анализа данные хранят в колоночных форматах файлов, например Parquet. Поверх них используют табличные форматы вроде Apache Iceberg или Delta Lake, которые добавляют транзакции и версионирование.

Хранилище данных (data warehouse) — структурированная база для аналитики с продуманной моделью. Современный подход, объединяющий озеро и хранилище, называют lakehouse.

Обработка: Hadoop и Spark

Hadoop — экосистема, с которой началась эпоха больших данных: распределённая файловая система и модель пакетной обработки MapReduce. Сегодня MapReduce используется редко, но сама экосистема встречается в крупных компаниях.

Apache Spark — движок распределённой обработки, который работает быстрее за счёт вычислений в памяти. Поддерживает SQL, Python, обработку потоков и машинное обучение. Сейчас это один из основных инструментов в больших данных.

Потоковая обработка: Kafka и аналоги

Apache Kafka — платформа для передачи потоков событий. Приложения записывают события (заказ создан, оплата прошла, датчик передал показание), а другие системы их читают. Kafka надёжно хранит поток и позволяет многим потребителям читать его независимо.

Для обработки потоков в реальном времени используют Spark Structured Streaming, Apache Flink и другие движки. Пример задачи — выявление подозрительных транзакций в момент оплаты.

Аналитические базы данных

Колоночные СУБД, например ClickHouse, хранят данные по столбцам и очень быстро считают агрегаты по миллиардам строк. Подходят для аналитики событий, логов, кликов, рекламы.

Облачные хранилища данных от крупных облачных провайдеров позволяют платить за вычисления и не администрировать кластер. В Узбекистане при их выборе нужно учитывать требования к хранению персональных данных граждан внутри страны.

Оркестрация

Цепочки обработки (загрузить, очистить, объединить, обновить витрину) запускаются по расписанию и зависимостям. Для этого используют Apache Airflow и подобные инструменты. Без оркестрации данные обновляются вручную, и система быстро теряет надёжность.

Когда эти технологии избыточны

Большинству компаний малого и среднего размера не нужны кластеры. Признаки, что обычной базы достаточно:

• Все данные компании помещаются в одну базу PostgreSQL или SQL Server на нормальном сервере
• Отчёты обновляются раз в день, а не в реальном времени
• Нет потоков событий с сайтов и устройств в больших объёмах

Разумный путь — начать с аналитической базы и BI, а распределённые технологии добавлять, когда упираетесь в реальные ограничения.

Ошибки

• Построение кластера ради моды на big data при небольших объёмах
• Озеро данных без каталога и описания, которое превращается в «болото»
• Отсутствие специалистов для поддержки сложной инфраструктуры
• Хранение персональных данных за рубежом без проверки требований закона

Если вы оцениваете, нужна ли вашему бизнесу инфраструктура больших данных, расскажите об объёмах и задачах — поможем выбрать архитектуру по размеру.