В этой статье разберём ещё одну важную тему — источники данных в Power BI. Это та самая тема, на которой строятся все ваши аналитические отчеты. Неважно, насколько красивы визуализации, если данные поступают из неправильных источников или загружаются неоптимально.
Выбор источника данных
Представьте, что вы строите дом. Источники данных — это фундамент. Можно построить шикарный особняк на болоте, но долго он не простоит. В аналитике то же самое: от выбора источников и способов подключения зависит вся дальнейшая работа — производительность, актуальность данных, безопасность и масштабируемость.
Давайте разберём категории источников данных, от простого к сложному:
Файловые источники
Файловые источники обеспечивают быстрый старт и помогают быстро сделать прототип отчётности.
- Excel — всеми любимый и одновременно опасный. Его можно использовать при прототипировании дашбордов, в личных аналитических задачах и на маленьких объемах данных (менее 100к строк).
Опасности Excel как источника:
- Многоверсионность: могут быть проблемы с корректностью загружаемой версии;
- Безопасность: пароли на файлах, потерянные доступы;
- Производительность: файл на 50 Мб уже будет тормозить.
- CSV/JSON — для интеграции с внешними системами. Преимущества:
- Универсальный формат;
- Легко генерировать из любых систем;
- Подходит для данных с изменяющейся структурой.
Базы данных
Базы данных помогают сделать промышленное решение с минимальными рисками. Преимущества:
- Единая версия правды: все берут данные из одного места;
- Производительность: индексы, партиционирование, оптимизация запросов;
- Безопасность: ролевая модель доступа;
- Актуальность: данные обновляются в реальном времени или по расписанию.
При подключении к БД существует несколько режимов:
- Import — данные копируются в модель Power BI. Плюс — быстрая работа визуализаций, минус — объёмные данные и задержка обновления.
- DirectQuery — данные остаются в БД. Плюсы — актуальные данные, нет ограничений по объему, минус — зависимость от производительности БД.
- Dual, смешанный режим — часть данных импортируется, часть через DirectQuery. Идеально для больших исторических данных + оперативных транзакций.
Облачные сервисы (Azure SQL Database)
Преимущества для Power BI:
- Встроенная интеграция;
- Автомасштабирование;
- Георепликация для глобальных компаний.
Их следует выбирать, если у вас очень большие объёмы данных (петабайты), полуструктурированные данные (JSON, Avro) и требуется separation of storage and compute.
SaaS приложения (Salesforce / HubSpot / Google Analytics)
Это готовые коннекторы от Microsoft, но при этом есть ограничения API и квоты на запросы.
Интернет-страницы
Да, так тоже можно — напрямую подключиться к интернет-ресурсу и получить данные оттуда.
Критически важные решения при выборе источника
После того как мы выбрали источник, стоит принять ещё несколько не менее важных решений, которые помогут оптимизировать работу наших дашбордов.
Решение 1: Import vs DirectQuery vs Live Connection
Первой проблемой будет тип забора данных. Выделяют три типа:
Импорт данных (Import)
Когда использовать:
- Данные менее 10 Гб;
- Есть сложные DAX-вычисления;
- Нужен оффлайн-доступ;
- Много трансформаций в Power Query.
Прямой запрос (DirectQuery)
Когда использовать:
- Данные более 10 Гб;
- Хотите получать данные в реальном времени;
- Данные часто меняются, например, в операционных дашбордах;
- БД уже оптимизирована.
Живое подключение (Live Connection)
Когда использовать:
- Готовые семантические модели (SSAS);
- Корпоративные стандарты;
- Централизованное управление безопасностью.
Решение 2: единая точка входа или несколько
Иногда мы стоим на развилке, сколько и каких источников выбрать, а иногда структура данных диктует нам свои правила. Но выбор есть всегда.
Вариант 1: единый источник — например, одна таблица в БД
Преимущества:
- Одна версия «правды» — то есть все используют одинаковые данные;
- Оптимизированные запросы;
- Централизованная безопасность.
Если у вас есть таблица фактов и несколько справочников, иногда лучше заранее собрать их в одну таблицу и забирать всё из одного места.
Вариант 2: несколько источников, например, БД + Excel + API + Salesforce
Преимущества:
- Гибкость;
- Быстрый старт;
- Независимость от IT.
К сожалению, не всегда получается построить всё на одном источнике, поэтому если на текущий момент это невозможно, то используйте все возможные инструменты и постепенно приводите их в порядок — настраивайте интеграции, пайплайны, полуручные справочники (но не в экселе, а в SQL), чтобы данные хранились в едином месте, пусть даже в разных таблицах в БД.
Решение 3: частота обновления
Для разных типов дашбордов:
- Операционные: каждый час / реальное время;
- Тактические: ежедневно;
- Стратегические: еженедельно/ежемесячно.
Здесь всё зависит от вашей задачи и желания вашего заказчика. Но не стоит всегда соглашаться на условия, так как ежечасное обновление большого дашборда может не нести в себе пользы для бизнеса, но при этом принесёт вред другим сотрудникам, так как будет затормаживать работу БД.
Моделирование в Power BI
Если у вас имеются несколько источников вне зависимости от их типа, например, несколько таблиц из базы данных, или одна таблица из БД + Excel-файл, эти данные можно объединить через модель данных.
Давайте рассмотрим пример:
На изображении выше показана, какой может быть модель данных. Здесь есть одна таблица фактов — FactInternetSales, и ряд справочников (справочник клиентов, справочник продуктов, справочник дат и другие). При этом у справочника продуктов есть подсправочник подкатегории, у которого, в свою очередь, есть справочник категории.
Все эти таблицы соединены между собой связями, что позволяет использовать все эти данные в рамках одного дашборда с использованием фильтров и мер.
Уровни безопасности
В Power BI есть несколько уровней безопасности:
- Уровень источника. На этом уровне определяются витрины, которые могут быть использованы как источники.
- Уровень строк. Эта фильтрация не ограничивает доступ к дашборду, но ограничивает доступ к части данных. Например, менеджер не может увидеть продажи на других территориях, а видит только свою. В то время как руководитель отдела продаж видит все территории и продажи по ним.
- Уровень объекта. Это уже верхнеуровневая безопасность, когда пользователь не может просматривать отчёт из-за отсутствия прав.
Типичные ошибки и их решение
- Всё в одном огромном Excel-файле. Симптомы: файл на 200МБ, открывается 5 минут, часто ломается. Решение: миграция в БД, оставить Excel только для справочников.
- Прямые запросы к «продовой» витрине. Симптомы: дашборд тормозит в рабочее время и замедляет работу других сотрудников. Решение: создать реплику/витрину для аналитики.
- 20 разных источников в одном отчёте. Симптомы: сложность отладки, конфликты обновления. Решение: консолидировать данные на этапе ETL.
Ключевые метрики для оценки источников
- Время обновления: до 30 минут для операционных дашбордов;
- Доступность: 99.9% uptime;
- Объём данных: оптимально 1-10 Гб в модели;
- Количество источников: 3-5 основных, не более 10.
Выбор источников данных — это не техническое решение, а бизнес-стратегическое. Оно определяет:
- насколько быстро вы сможете отвечать на вопросы бизнеса;
- насколько точны будут ваши инсайты;
- насколько масштабируема ваша аналитическая платформа.
Начинайте с простого, но сразу закладывайте архитектуру для роста. Помните: миграция с Excel на SQL Server в 10 раз проще, чем миграция с неправильно спроектированной SQL-схемы на правильную.
Лучшая практика: каждый новый источник должен проходить через чек-лист:
- Есть ли у нас права доступа?
- Как часто обновляются данные?
- Есть ли документация по источнику?
- Кто отвечает за поддержку?
- Как это интегрируется с существующей архитектурой?
Следуя этим принципам, вы построите не просто набор отчетов, а целую экосистему данных, которая будет расти вместе с компанией.