Потоки данных Power BI: общая подготовка данных для отчётов

Потоки данных (dataflows) в Power BI — это подготовка данных, вынесенная из отдельного отчёта в облачный сервис. Те же запросы Power Query, которые аналитик пишет в Desktop, выполняются в браузере в рабочей области, а результат сохраняется как готовые таблицы. Любой отчёт может подключиться к этим таблицам вместо того, чтобы заново забирать и чистить исходные данные.

Какую проблему решают

Представьте компанию, где три аналитика делают отчёты по продажам, складу и финансам. Каждому нужен справочник товаров. Каждый подключается к 1С, выгружает номенклатуру, по-своему убирает дубли, по-своему группирует категории. Через полгода в отчёте продаж «Бытовая химия» включает одни позиции, а в складском — другие. Руководитель видит разные цифры и перестаёт доверять обоим отчётам.

Поток данных решает это так: справочник товаров готовится один раз, по одним правилам, и все отчёты берут его оттуда.

Поток данных и набор данных

• Поток данных — подготовленные таблицы: очищенные, объединённые, с понятными полями. Это сырьё.
• Набор данных (семантическая модель) — таблицы, связанные между собой, плюс меры и роли доступа. Это готовая модель для отчётов.
• Отчёт — визуальные страницы поверх модели.

Хорошая архитектура в средней компании выглядит так: несколько потоков данных по источникам, одна или несколько общих моделей, много отчётов поверх моделей.

Что выносить в потоки данных

• Справочники, которые используются в разных отчётах: товары, клиенты, сотрудники, филиалы
• Календарь компании с праздниками и рабочими днями
• Преобразования, которые требуют много времени: объединение больших выгрузок, разбор сложных файлов
• Данные из источников, к которым не все аналитики должны иметь прямой доступ
• Курсы валют и другие внешние данные, которые подтягиваются по расписанию

Последний пункт актуален для компаний, ведущих расчёты в сумах и валюте: курс загружается один раз и одинаково применяется во всех отчётах.

Как начать

1. Найдите повторяющиеся запросы в существующих отчётах: одинаковые подключения и шаги очистки
2. Создайте в рабочей области поток данных и перенесите туда эти запросы
3. Настройте обновление потока по расписанию, раньше обновления моделей
4. Переключите отчёты на чтение таблиц из потока
5. Удалите дублирующую логику из отчётов

Обновления выстраиваются цепочкой: сначала поток забирает данные из источника, затем модели читают поток. Если расписания не согласованы, модель может обновиться раньше потока и показать вчерашние данные.

Правила организации

• Называйте потоки по источнику и назначению: «1С — справочники», «CRM — сделки»
• Разделяйте подготовку сырых данных и бизнес-логику на отдельные слои
• Описывайте поля: что означает каждый столбец и откуда он берётся
• Назначьте владельца каждого потока
• Ограничьте права на изменение: менять общий справочник должен не каждый аналитик

Когда потоки данных не нужны

Если в компании один аналитик и три отчёта, потоки данных добавят сложности без заметной пользы. Достаточно одной общей модели в Power BI Desktop. Потоки окупаются, когда отчётов и авторов становится больше, а единые правила начинают теряться.

Также стоит понимать, что в продуктовой линейке Microsoft эта область развивается: появились новые поколения потоков данных и смежные сервисы в платформе Fabric. Конкретные возможности и требования к лицензиям лучше проверять в актуальной документации под вашу подписку.

Типичные ошибки

• В поток данных переносят всё подряд, включая разовые запросы конкретного отчёта
• Нет согласования расписаний, данные в отчётах отстают на сутки
• Поток данных меняют без предупреждения, и ломаются отчёты, о которых автор правки не знал
• Чистка данных частично в потоке, частично в отчёте, и логику невозможно отследить

Итог

Потоки данных — способ навести порядок, когда отчётов становится много: одна подготовка справочников, одни правила, одинаковые цифры во всех отчётах. Если в вашей компании отделы называют разные значения одного показателя, это хороший повод пересмотреть архитектуру. Готовы помочь с аудитом текущих отчётов.