Ознайомтеся з цією статтею до кінця, щоб дізнатися про тонкощі налаштування інкрементного оновлення в Power BI, що дозволить вам зменшити витрати на обчислення в хмарних середовищах та оперативно отримувати актуальні дані.
При роботі з великими масивами даних для бізнес-аналітики, процес оновлення інформації з сервера може стати справжнім викликом. Бази даних, які ви аналізуєте у Power BI, постійно зазнають змін на серверній стороні.
Якщо ви оновлюєте великий набір даних, цей процес може тривати годинами, а то й довше, особливо коли йдеться про величезні обсяги інформації або постійний потік даних в реальному часі з різних автоматизованих систем, таких як касові апарати, онлайн-форми, тощо.
Щоб полегшити роботу з такими складними ситуаціями під час імпорту та аналізу даних у Power BI, Microsoft розробила кілька функцій для оновлення даних. Серед них інкрементне оновлення, яке є досить популярним завдяки можливості простого імпорту та аналізу даних у режимі реального часу.
Продовжуйте читати, щоб дізнатися, що це за функція, як вона працює, які є передумови для її використання в Power BI, та як її легко налаштувати. Розпочнімо!
Читайте також: Порівняння Tableau та Power BI: який інструмент обрати у 2023 році?
Інкрементне оновлення в Power BI
Інкрементне оновлення – це розширена функція запланованого оновлення даних у Power BI. Вона створює окремі розділи в наборі даних, зберігаючи таблиці, що часто оновлюються, окремо.
Більшість баз даних, які ви використовуєте, містять таблиці, що оновлюються регулярно, оскільки містять інформацію про транзакції, таку як обсяги продажів, залишки на складі тощо. З часом ці дані можуть експоненціально зростати, що призводить до того, що файл Power BI займає багато місця у вашому хмарному сховищі або на локальних серверах.
У цьому випадку Power BI може застосувати політику інкрементного оновлення для розділення таблиці даних, використовуючи параметри RangeStart і RangeEnd. Також можна використовувати розділ DirectQuery для даних у реальному часі. В результаті обсяг даних, які ви запитуєте з хмарної бази, зменшується, що робить імпортований набір даних у Power BI меншим та легшим у роботі.
Інкрементне оновлення гарантує, що ви завжди працюєте з найсвіжішими даними у великій базі, що може містити мільйони рядків.
Наприклад, ви отримали звіт про продажі, який охоплює 10 років. Однак, не завжди потрібно оновлювати весь масив даних. Можливо, вам потрібні оновлення лише за останній тиждень або близько того.
В такому випадку, повне оновлення набору даних може зайняти кілька годин. Натомість, ви можете налаштувати інкрементне оновлення і заощадити час та кошти на обчислювальних ресурсах.
Читайте також: Сертифікація Microsoft Power BI Data Analyst (PL-300): як її отримати
Чому варто використовувати інкрементне оновлення в Power BI?
Використання інкрементного оновлення в Power BI є вигідним рішенням з трьох ключових причин. Перш за все, це економить час та ресурси. Замість того, щоб кожного разу оновлювати всі дані, воно фокусується лише на нових або змінених, що робить ваші звіти швидшими та ефективнішими.
По-друге, воно ідеально підходить для великих масивів даних. Якщо ви маєте справу з величезними обсягами інформації, оновлення всього набору може бути повільним та дорогим. Інкрементне оновлення дозволяє оновлювати лише потрібні дані, забезпечуючи швидку роботу звітів.
По-третє, це гарантує актуальність ваших звітів. Завдяки оновленню лише останніх даних, ви можете бути впевнені, що ваші звіти відображають найсвіжіші зміни у джерелі даних, що забезпечує точну інформацію для прийняття обґрунтованих рішень.
Сфери застосування інкрементного оновлення
Роздрібні продажі
Інкрементне оновлення допомагає оновлювати щоденні дані про продажі без необхідності обробки цілих звітів. Це гарантує наявність актуальної інформації для прийняття своєчасних рішень. Також, це дозволяє відстежувати щоденні показники, заощаджуючи час та ресурси, оновлюючи лише нові дані або певний діапазон.
Управління запасами
Для відстежування змін запасів в реальному часі та ефективної оптимізації їх рівнів, ви можете налаштувати інкрементне оновлення в звітах Power BI. Це також допоможе вам в постійному оновленні статистики веб-трафіку, що дозволить мати найсвіжішу інформацію про поведінку користувачів.
Фінансова звітність
Інкрементне оновлення допомагає підтримувати актуальність фінансових звітів, регулярно оновлюючи тільки останні дані. Ви також можете стежити за оновленнями в ланцюзі постачання, пов’язаними з фінансами, та покращити реагування на динамічні зміни витрат у ланцюзі постачання.
Моніторинг IoT
Інкрементне оновлення є особливо важливим для навчання та моніторингу пристроїв IoT. Ці пристрої збирають та надсилають великі обсяги даних щодня, іноді навіть щосекунди. Якщо оновлювати всю базу даних, пов’язану з кількома системами IoT, процес може тривати кілька днів. Натомість, налаштувавши інкрементне оновлення, ви оновлюєте лише необхідну частину протягом дня.
Аналіз фондового ринку
Фондовий ринок є ще одним джерелом, яке генерує масивні оновлення даних щосекунди. Тут ви можете скористатися інкрементним оновленням Power BI, щоб аналізувати динаміку цін на акції і прогнозувати інвестиційні стратегії.
Переваги інкрементного оновлення в Power BI
- Оновлення лише нових або змінених даних, що значно прискорює процес оновлення звітів.
- Економія системних ресурсів та мінімізація навантаження на інфраструктуру, оновлюючи лише необхідні дані.
- Зниження витрат на обчислення в хмарних середовищах завдяки оновленню лише частини даних, порівняно з повним оновленням.
- Інкрементне оновлення є особливо корисним при роботі з великими масивами даних, оскільки дозволяє уникнути необхідності кожного разу оновлювати всю базу.
- Можливість налаштування оновлення звітів у режимі реального часу або майже в реальному часі до 48 разів на день.
- Гарантія того, що звіти відображають найсвіжіші зміни у джерелі даних, що забезпечує точну та надійну інформацію.
- Можливість продовжувати працювати зі звітом, поки дані оновлюються у фоновому режимі, що мінімізує переривання робочого процесу.
- Забезпечення швидкого завантаження звітів та їх оперативної реакції на дії користувача, що покращує загальний досвід.
Переваги інкрементного оновлення є різноманітними, і його можна використовувати по-різному залежно від проєкту з аналізу даних.
Повне оновлення проти інкрементного оновлення в Power BI
Повне оновлення в Power BI передбачає повторне завантаження всіх даних з джерела. Це трудомісткий процес, який потребує значних ресурсів, особливо для великих масивів даних. Воно замінює весь набір даних, навіть якщо змінилася лише невелика його частина.
З іншого боку, інкрементне оновлення оновлює лише нові або змінені дані, що значно скорочує час оновлення та використання ресурсів.
Нижче наведено порівняння цих двох режимів оновлення Power BI:
| Функція | Повне оновлення | Інкрементне оновлення |
| Оновлення даних | Оновлює всі дані кожного разу | Оновлює лише нові, змінені чи налаштовані діапазони дат/часу |
| Підходить для | Невеликих наборів даних з нечастими оновленнями | Великих наборів даних з частими оновленнями |
| Час оновлення | Триваліший час оновлення | Швидший час оновлення |
| Використання ресурсів | Більше використання ресурсів | Менше використання ресурсів |
| Історичні дані | Потребує перезавантаження всіх історичних даних | Зберігає історичні дані у визначених розділах |
| Підтримка даних у реальному часі | Обмежена підтримка даних у реальному часі | Підтримує оновлення даних у режимі реального часу або майже в реальному часі |
Передумови інкрементного оновлення
Хоча ця функція є дуже корисною для великих наборів даних, вона не є доступною, поки план Power BI та інші параметри набору даних не відповідатимуть певним умовам. Ось ці вимоги:
#1. Підтримувані плани Power BI
Інкрементне оновлення доступне для наборів даних Power BI Premium, Premium per user, Power BI Pro та Power BI Embedded.
Для оновлення даних в реальному часі через DirectQuery підтримка обмежена наборами даних Power BI Premium, Premium per user і Power BI Embedded.
#2. Підтримувані джерела наборів даних
Оновлення даних в реальному часі для великих наборів даних у звітах Power BI за допомогою інкрементного оновлення найкраще підходить для реляційних та структурованих баз даних, таких як Azure Synapse та SQL Database. Можна також налаштувати роботу з іншими базами даних, використовуючи спеціальну конфігурацію.
Однак, набір даних повинен відповідати наступним вимогам:
Стовпець Дата/Час
Набір даних, який ви аналізуєте, повинен мати стовпець дати або дати/часу. Ці стовпці допомагають Power BI визначати початкову та кінцеву точки для даних, які оновлюються з джерела.
Фільтрування за датою/часом
Power BI повинен мати можливість фільтрувати набір даних за датою, зазвичай через стовпець дати в цільовій таблиці, який може мати тип даних дати/часу або ціле число в реляційних джерелах. Параметри RangeStart та RangeEnd, обидва у типі даних дати/часу, використовуються для фільтрації даних таблиці за допомогою стовпця дати.
Параметри діапазону
Перш ніж почати налаштовувати інкрементне оновлення у вашому звіті Power BI, необхідно перенести набір даних в Power Query, щоб додати параметри діапазону. Використовуючи команду «Керування параметрами», потрібно додати два нових параметри з іменами RangeStart і RangeEnd для цільового набору даних.
Набір даних підтримує згортання запитів
Згортання запитів – це техніка оптимізації, яка покращує продуктивність запитів, перекладаючи якомога більше операцій обробки даних на сервер бази даних.
Замість того, щоб отримувати великий обсяг даних з сервера, а потім фільтрувати та обробляти їх у клієнтській програмі, згортання запитів дозволяє серверу виконувати операції фільтрації, сортування та агрегації безпосередньо на джерелі даних.
Єдине джерело даних
Припустимо, ви налаштовуєте інкрементне оновлення для отримання даних в реальному часі з великої бази. Або ж ви створюєте розширену систему запитів до бази даних з використанням табличної об’єктної моделі (TOM) і мови сценаріїв табличної моделі (TMSL) через кінцеву точку XMLA. У таких випадках усі розділи даних, незалежно від того, чи це DirectQuery чи Import, повинні отримувати дані з одного джерела.
#3. Системна дата і час
Наявність доступу до системної дати і часу є необхідною для Power BI, щоб розуміти, коли слід виконувати інкрементне оновлення даних відповідно до визначеної вами політики. Тому, системна дата і час завжди повинні бути встановлені на автоматичне оновлення, а не вручну.
Як налаштувати інкрементне оновлення в Power BI
Нижче наведено чотири прості кроки для налаштування інкрементного оновлення:
#1. Імпорт вашого набору даних в програму Power BI Desktop
Налаштування інкрементного оновлення звіту Power BI можливе лише з програми Power BI Desktop. Після публікації звіту, ви можете використовувати цю функцію для отримання даних в реальному часі або з вибраного діапазону в сервісі Power BI (веб-версія Power BI).
Щоб імпортувати набір даних, виконайте наступні дії:
- Запустіть програму Power BI Desktop.
- Натисніть кнопку “Отримати дані” на екрані запуску Power BI.
- У діалоговому вікні “Отримати дані” виберіть джерело бази даних, наприклад, “База даних SQL Server”.
- Введіть дані SQL-сервера і натисніть “OK”.
- Ви побачите вікно навігатора набору даних бази даних.
- Виберіть потрібну таблицю з навігатора і натисніть “Завантажити”, щоб імпортувати дані в Power BI.
#2. Обробка набору даних в Power Query
Тепер необхідно трансформувати набір даних в Power Query, щоб додати параметри діапазону та фільтрування за датою/часом. Ось як це зробити:
- У Power BI перейдіть на вкладку “Головна сторінка” і натисніть “Трансформувати дані”.
- Набір даних відкриється в Power Query.
- Натисніть на стовпець “Дата”.
- Натисніть “Керування параметрами”.
- У діалоговому вікні “Керування параметрами” натисніть “Створити”.
- Введіть “RangeStart” в поле “Ім’я”.
- У полі “Поточне значення” вкажіть дату початку інкрементного оновлення. У цьому прикладі це 01.01.2023.
- Натисніть “OK” для застосування.
- Виконайте ті самі дії для додавання параметра RangeEnd, вказавши дату/час до якої Power BI має виконувати інкрементне оновлення.
Тепер ви повинні мати три параметри у Power Query, як показано на зображенні нижче.
Далі виберіть стовпець “Дата” та натисніть на випадаюче меню. Виберіть “Фільтри дати”, а потім “Спеціальні фільтри” в додатковому меню.
У першому випадаючому меню оберіть “після або дорівнює”. Натисніть поле поруч з ним і виберіть параметр RangeStart.
Потім натисніть друге випадаюче меню та виберіть “передує або дорівнює” і додайте параметр RangeEnd.
Після цього натисніть кнопку “Закрити та застосувати” у верхньому лівому кутку Power Query.
#3. Налаштування інкрементного оновлення в Power BI Desktop
У Power BI перейдіть до представлення таблиці. Праворуч від таблиці набору даних клацніть правою кнопкою миші на назву таблиці або набору даних, до якого потрібно застосувати функцію інкрементного оновлення. У контекстному меню натисніть “Інкрементне оновлення”.
Далі зробіть наступне:
- Активуйте інструмент “Установити діапазони імпорту та оновлення”, пересунувши перемикач.
- Введіть значення для наступних полів:
- Початок архівування даних
- Початок інкрементного оновлення даних
- Натисніть “Застосувати”.
#4. Публікація звіту
Тепер перейдіть до меню “Головна” > “Опублікувати”. Натисніть “Опублікувати”.
Power BI запропонує вам зберегти файл на вашому ПК. Зробіть це за інструкцією.
Знову натисніть “Опублікувати”, виберіть місце призначення, наприклад “Моя робоча область”, і натисніть “Вибрати”.
Висновок
Отже, тепер ви знаєте, як скористатися функцією інкрементного оновлення Power BI, щоб отримувати дані в реальному часі з серверів без необхідності оновлення всієї бази даних та сплати великих комісій за використання ресурсів хмарних обчислень. Ви також заощаджуєте час в процесі.
Виконайте описані вище кроки та спробуйте інкрементне оновлення наступного разу, коли створюватимете та публікуватимете звіти та інформаційні панелі в Power BI.
Далі: Power BI: відмінності між звітом та інформаційною панеллю.