Big data и data science: в чём разница

Термины big data и data science часто употребляют рядом, и из-за этого кажется, что это одно и то же. На самом деле это разные вещи: одна про объёмы данных и технологии работы с ними, другая про методы извлечения знаний. Их можно сравнить с дорогой и автомобилем: одно без другого бывает, но вместе они дают больше.

Что такое big data

Big data — данные, объём, скорость поступления или разнообразие которых превышают возможности обычных инструментов вроде Excel или одной базы данных на сервере. Классически их описывают через несколько характеристик:

• Объём — данных столько, что их нельзя обработать на одном компьютере за разумное время
• Скорость — данные поступают непрерывным потоком: события сайта, транзакции, показания датчиков
• Разнообразие — таблицы, тексты, изображения, логи, геоданные вперемешку

Big data — это прежде всего вопрос инфраструктуры: как хранить, обрабатывать и передавать такие данные. Здесь нужны распределённые хранилища, кластеры, потоковая обработка.

Что такое data science

Data science — дисциплина, которая извлекает выводы и прогнозы из данных с помощью статистики, машинного обучения и анализа. Её задачи:

• Найти закономерности: какие клиенты уходят, какие товары покупают вместе
• Построить прогноз: спрос, отток, риск неоплаты
• Проверить гипотезу: повлияла ли акция на продажи на самом деле
• Создать модель, которая будет работать в продукте: рекомендации, скоринг, классификация

Data science может работать с небольшими данными. Модель прогноза спроса для сети из десяти магазинов строится на таблице, которая помещается в ноутбук. Это не big data, но полноценная data science.

Кто чем занимается

Специалист по big data ближе к роли data engineer. Специалист по data science — к роли исследователя и аналитика.

Инструменты

Для big data: распределённые файловые системы и объектные хранилища, Apache Spark, Kafka для потоков, колоночные аналитические базы вроде ClickHouse.

Для data science: Python с библиотеками pandas, scikit-learn, библиотеки глубокого обучения, Jupyter для исследований, статистические пакеты.

Пересечение есть: Spark используется и для обработки больших данных, и для обучения моделей на них.

Что нужно компании среднего размера

Честный ответ — в большинстве случаев не big data. У компании с несколькими филиалами и интернет-магазином данные обычно помещаются в одну хорошо настроенную базу данных. Им нужны:

1. Порядок в учётных данных и справочниках
2. Хранилище или аналитическая база, куда собираются данные из разных систем
3. Аналитик, который делает отчёты и отвечает на вопросы
4. Позже — data science для конкретных задач: прогноз спроса, сегментация клиентов

Инфраструктура big data становится нужной, когда данных действительно много: телеком, крупные банки, маркетплейсы, сервисы доставки с большим потоком событий, производство с тысячами датчиков.

Ошибки

• Покупка платформы big data, когда объёмы помещаются в обычную базу
• Найм data scientist без подготовленных данных: он будет месяцами заниматься чисткой
• Ожидание, что модель сама найдёт «инсайты» без бизнес-вопроса
• Отсутствие data engineer: модели строятся на выгрузках, которые никто не обновляет

Если вы не уверены, какой уровень работы с данными нужен вашей компании сейчас, опишите задачи — поможем оценить без лишних трат на инфраструктуру.