Недостатки больших данных: затраты, качество и риски

О пользе больших данных пишут много, о недостатках — гораздо меньше. Между тем многие проекты в этой области не дают ожидаемого результата не из-за технологий, а из-за недооценённых затрат, плохого качества данных и неправильных ожиданий. Знать слабые места полезно до того, как бюджет потрачен.

Стоимость владения

Инфраструктура больших данных дорога не только при покупке. Основная часть затрат приходится на эксплуатацию:

• Серверы или облачные ресурсы, которые растут вместе с объёмами
• Специалисты для поддержки кластеров, обновлений и безопасности
• Лицензии коммерческих продуктов, если они используются
• Время на интеграцию новых источников и исправление сломавшихся потоков

Для компаний, чьи данные помещаются в обычную базу, такие затраты не окупаются. Распределённая система нужна, когда без неё задача не решается в принципе.

Качество данных

Больше данных не значит лучше данных. Типичные проблемы:

• Дубликаты и противоречия между системами
• Пропуски в ключевых полях
• Разные форматы дат, единиц измерения, написания названий
• Данные, собранные для одной цели, используются для другой и не подходят

Принцип «мусор на входе — мусор на выходе» работает в больших масштабах ещё сильнее: ошибки множатся, и их сложнее заметить. Работа с качеством занимает значительную часть любого проекта.

Нехватка специалистов

Инженеры данных, архитекторы и специалисты по распределённым системам востребованы во всём мире, и найти их в Ташкенте непросто. Компания рискует построить систему, которую потом некому поддерживать. Зависимость от одного-двух ключевых сотрудников — серьёзный риск.

Ложные выводы

Чем больше данных и переменных, тем больше случайных совпадений, которые выглядят как закономерности. Корреляция не означает причинность: продажи мороженого и количество солнечных ожогов растут вместе, но одно не вызывает другое. Без статистической грамотности и проверки гипотез большие данные порождают уверенные, но неверные решения.

Ещё одна ловушка — смещённые данные. Если модель обучена на истории, в которой были систематические перекосы, она их воспроизведёт.

Персональные данные и закон

Большие данные часто содержат информацию о людях: покупки, перемещения, звонки. Узбекское законодательство о персональных данных предусматривает согласие субъекта на обработку, обязанность защищать сведения и правила локализации баз с данными граждан. Нарушение несёт юридические и репутационные риски. Кроме того, чем больше данных собрано, тем серьёзнее последствия утечки.

Сложность и скорость изменений

Системы больших данных состоят из многих компонентов, и каждый требует настройки и обновлений. Изменение в одном источнике может сломать цепочку обработки, и это обнаружится только по пустому отчёту. Технологии быстро меняются, и выбранная платформа может устареть.

Как снизить риски

1. Начинайте с бизнес-вопроса, а не с технологии: что вы хотите узнать или улучшить
2. Оцените объёмы честно. Возможно, хватит аналитической базы и BI
3. Запускайте пилот на одной задаче с измеримым результатом
4. Инвестируйте в качество данных: справочники, правила ввода, проверки
5. Документируйте источники, поля и цепочки обработки
6. Собирайте только то, что нужно, особенно персональные данные
7. Не зависьте от одного человека: знания должны быть у команды или подрядчика

Признаки проблемного проекта

• Цель сформулирована как «внедрить big data»
• Нет владельца со стороны бизнеса
• Бюджет учитывает покупку, но не поддержку
• Никто не проверял, есть ли нужные данные и какого они качества

Большие данные — мощный инструмент, но не универсальное решение. Если вы планируете проект и хотите трезво оценить его риски и масштаб, поделитесь задачей — поможем посмотреть со стороны.