Інкрементне оновлення LuckyTemplates: що це таке та як ним користуватися

перетворився на цінний інструмент для компаній, які працюють з даними, а поступове оновлення є ключовою функцією LuckyTemplates, яка може полегшити вашу роботу, динамічно оновлюючи дані.

Поступове оновлення LuckyTemplates — це процес, який дозволяє користувачам поступово оновлювати дані замість повного оновлення даних щоразу. Це може значно пришвидшити оновлення даних і зменшити обсяг даних, який необхідно передати між LuckyTemplates і джерелом даних.

У цій статті ми покажемо вам, як налаштувати поступове оновлення в LuckyTemplates як професіонал, що зробить ваш робочий процес аналізу даних більш гнучким і дозволить вам приймати зважені рішення в режимі реального часу з актуальними даними у вас під рукою.

Ходімо!

Зміст

• Основи інкрементального оновлення LuckyTemplates
  • 1. Power Query і LuckyTemplates
  • 2. Політика оновлення
  • 3. Логічний фільтр
  • 4. Потоки даних
• Як налаштувати інкрементне оновлення в LuckyTemplates
  • 1. Керуйте параметрами
  • 2. Параметри RangeStart і RangeEnd
  • 3. Налаштування політики поступового оновлення в LuckyTemplates
• Як працювати з даними та фільтрами під час використання інкрементального оновлення LuckyTemplates
  • 1. Дата/час і цілочисельні типи даних
  • 2. Сурогатні ключі
  • 3. Спеціальний фільтр
• Як підвищити продуктивність і ефективність за допомогою інкрементального оновлення в LuckyTemplates
  • 1. Згортання розділів і запитів
  • 2. Формати зберігання великих наборів даних
  • 3. Оптимізація споживання ресурсів
• Використання інкрементального оновлення з різними джерелами даних
  • 1. База даних SQL
  • 2. Режими DirectQuery та Імпорт даних
  • 3. Сховище даних
• 3 передові прийоми та поради щодо використання інкрементального оновлення
  • 1. Дані в реальному часі та оновлення
  • 2. Перетворення дати/часу на ціле число для DataView
• Заключні думки

Основи інкрементального оновлення LuckyTemplates

Поступове оновлення LuckyTemplates є дуже зручним інструментом, і розуміння його основ є важливим, якщо ви хочете використовувати його для ефективних процесів оновлення даних для своїх звітів і інформаційних панелей.

Ці основи включають:

1. Power Query і LuckyTemplates

Інкрементне оновлення — це функція в LuckyTemplates, яка дозволяє завантажувати лише нову або оновлену модель даних, підвищуючи ефективність процесу оновлення даних.

Використовуючи параметри дати/часу Power Query із зарезервованими іменами RangeStart і RangeEnd, що враховують регістр, ви можете фільтрувати дані таблиці та динамічно розділяти їх на основі інкрементного діапазону, щоб відокремити дані, що часто оновлюються, від даних, що оновлюються рідше.

2. Політика оновлення

Якщо ви зацікавлені в застосуванні процесу поступового оновлення, виконайте такі дії:

• На робочому столі LuckyTemplates виберіть таблицю з застосованими спеціальними фільтрами.

• Клацніть правою кнопкою миші та виберіть у контекстному меню опцію «Поступове оновлення».

• У вікні інкрементного оновлення, що відкриється, ви можете встановити різні параметри та визначити політику.

Політика, яку ви визначаєте в LuckyTemplates Desktop, буде застосована до служби LuckyTemplates.

3. Логічний фільтр

Логіка фільтра, яка використовується в поетапному оновленні, базується на діапазонах дат. Визначаючи логіку фільтра, слід враховувати такі фактори:

• Зверніть увагу на політику збереження історичних даних джерела даних.

• Переконайтеся, що джерело даних підтримує згортання запитів і поступове оновлення.

• Визначте оптимальний діапазон для вашої таблиці даних, щоб мінімізувати час завантаження.

4. Потоки даних

Використання інкрементального оновлення з потоками даних вимагає деяких додаткових міркувань:

• По-перше, ваш потік даних має знаходитися в робочій області з преміум-ємністю.

• По-друге, плани Power Apps на програму або на користувача потрібні для поступового оновлення в Power Apps.

• Нарешті, потік даних має використовувати Azure Data Lake Storage як місце призначення.

Поступове оновлення в LuckyTemplates може заощадити ваш час і підвищити ефективність оновлення даних.

Тепер, коли ми розглянули основи інкрементального оновлення LuckyTemplates, давайте поглянемо на детальне пояснення того, як налаштувати інкрементне оновлення в LuckyTemplates у наступному розділі. 

Як налаштувати інкрементне оновлення в LuckyTemplates

Налаштування поступового оновлення в LuckyTemplates є простим процесом. Ви починаєте з увімкнення функції в редакторі Power Query, потім вказуєте потрібну таблицю для оновлення та, нарешті, визначаєте політику зберігання та оновлення.

Нижче наведено докладний посібник із налаштування інкрементного оновлення LuckyTemplates:

1. Керуйте параметрами

Щоб налаштувати інкрементне оновлення в LuckyTemplates, спочатку потрібно створити параметри дати/часу за допомогою Power Query. Ці параметри допоможуть вам визначити діапазон даних, які потрібно поступово оновлювати.

• Відкрийте в LuckyTemplates Desktop, натиснувши Transform data.

• Перейдіть до «Керування параметрами» та натисніть «Новий параметр».

2. Параметри RangeStart і RangeEnd

Для успішного інкрементального оновлення в бажаному інкрементальному діапазоні слід створити наступні два параметри дати й часу Power Query із зарезервованими іменами з урахуванням регістру:

• RangeStart : цей параметр представляє дату початку діапазону даних, який потрібно включити в поступове оновлення.

  

• RangeEnd : цей параметр означає кінцеву дату діапазону даних для поступового оновлення.

  

Після створення цих параметрів ви можете застосувати фільтр діапазону дат до свого набору даних.

3. Налаштування політики поступового оновлення в LuckyTemplates

Після налаштування параметрів RangeStart і RangeEnd ви можете налаштувати політику інкрементального оновлення:

• У LuckyTemplates Desktop клацніть правою кнопкою миші потрібну таблицю та виберіть Інкрементальне оновлення.

• У вікні налаштувань інкрементального оновлення увімкніть повзунок Інкрементально оновити цю таблицю.

• Налаштуйте політику зберігання, визначивши:

  • Кількість днів/років для зберігання даних у службі LuckyTemplates.

  • Політика оновлення для визначення частоти поступових оновлень.

• Після налаштування політик натисніть «Застосувати все», щоб зберегти налаштування.

  

Виконуючи ці дії, ви можете налаштувати поступове оновлення в LuckyTemplates і оптимізувати процес оновлення для великих наборів даних. Це так просто!

Тепер, коли ми це охопили, ми розглянемо, як ви можете працювати з даними та фільтрами під час використання інкрементального оновлення LuckyTemplates у наступному розділі.

Як працювати з даними та фільтрами під час використання інкрементального оновлення LuckyTemplates

Знати, як працювати з даними та фільтрами в LuckyTemplates, корисно, якщо у вас є великий набір даних, який не змінюється дуже часто, але ви все одно хочете регулярно бачити останні дані.

Ось як ви можете це зробити:

1. Дата/час і цілочисельні типи даних

Працюючи з поступовим оновленням LuckyTemplates, важливо розуміти різні фільтри, які працюють з датою/часом і цілим типом даних.

Використовуючи параметри дати/часу із зарезервованими іменами RangeStart і RangeEnd, що враховують регістр, ви можете ефективно фільтрувати дані таблиці на основі дат.

Наприклад, у таблиці фактів, яка містить дані з 2005 року, ви можете налаштувати поступове оновлення, щоб зберігати лише останні десять років , відфільтровуючи дані до 2010 року.

У випадку цілочисельних типів даних ви можете налаштувати спеціальні фільтри для керування поступовим оновленням. Це допомагає розділити та відокремити дані, які потребують частого оновлення, від даних, які не потребують оновлення.

2. Сурогатні ключі

Сурогатні ключі відіграють вирішальну роль під час роботи з поступовим оновленням у LuckyTemplates. Ці унікальні ключі допомагають керувати та контролювати дані таблиці.

Якщо ви використовуєте сурогатні ключі під час процесу конфігурації, ви можете легко відстежувати будь-які зміни або оновлення своїх даних, гарантуючи, що первинний ключ не змінено.

Це забезпечує ефективне та ефективне поступове оновлення, зберігаючи цілісність ваших даних.

3. Спеціальний фільтр

Крім дати/часу та цілочисельних типів даних, ви також можете створювати та використовувати власні фільтри в поетапному оновленні. Користувальницькі фільтри допомагають вам краще керувати та розподіляти дані на основі конкретних потреб або критеріїв.

Нижче наведено покроковий посібник зі створення спеціального фільтра.

1. Клацніть правою кнопкою миші таблицю фактів і заповніть необхідні поля для конфігурації інкрементального оновлення.

2. Створіть два параметри типу даних «Дата/Час» із іменами RangeStart і RangeEnd. Встановіть значення за умовчанням для кожного параметра.

3. Застосуйте функцію спеціального фільтра у своєму запиті або етапах обробки даних, щоб відфільтрувати дані відповідно до ваших конкретних вимог.

Використовуючи спеціальні фільтри, ви можете ефективно впорядковувати та керувати даними у своєму рішенні LuckyTemplates, забезпечуючи оптимальну продуктивність і зручність використання.

Пам’ятайте про налаштування поетапного оновлення, щоб не потрапити в пастку або не зіткнутися з проблемами, які можуть перешкодити вашій загальній роботі.

Зрозумівши, як працювати з даними та фільтрами в LuckyTemplates, давайте в наступному розділі заглибимося в те, як можна підвищити продуктивність і ефективність своїх звітів і інформаційних панелей, використовуючи поступове оновлення.

Як підвищити продуктивність і ефективність за допомогою інкрементального оновлення в LuckyTemplates

Існують різні способи покращення продуктивності та ефективності за допомогою поступового оновлення в LuckyTemplates. Нижче ми розглянемо деякі з них.

1. Згортання розділів і запитів

Коли ви налаштовуєте поступове оновлення в LuckyTemplates, ваша таблиця автоматично розділяється. Один розділ містить дані, які потрібно часто оновлювати, а інший розділ містить рядки, які не змінюються.

Це покращує продуктивність і ефективність процесу оновлення. Згортання запитів також відіграє важливу роль у цьому процесі; він поєднує кілька етапів запиту в єдиний запит до бази даних, зменшуючи обсяг обробки та час, необхідний для оновлення звіту.

2. Формати зберігання великих наборів даних

LuckyTemplates Premium дозволяє ефективніше працювати з великими наборами даних за допомогою таких форматів зберігання, як Columnstore і Aggregations.

Під час обробки великих обсягів даних ці формати зберігання прискорюють продуктивність оновлення та дозволяють швидше взаємодіяти зі своїми звітами.

• Columnstore : цей формат покращує продуктивність запитів, що потребують інтенсивного читання, завдяки можливостям зберігання та стиснення в стовпцях.

• Агрегації : ця функція гарантує, що зведені таблиці можуть відповідати на багато запитів, зменшуючи потребу в доступі до великих таблиць фактів і таким чином покращуючи продуктивність.

Використання цих форматів зберігання під час роботи з LuckyTemplates Premium зробить керування великими наборами даних LuckyTemplates ефективнішим.

3. Оптимізація споживання ресурсів

Моніторинг і оптимізація споживання ресурсів мають вирішальне значення для підтримки продуктивності вашої системи LuckyTemplates. Нижче наведено кілька способів зробити це.

• Відстеження використання пам’яті : аналізуйте показник PeakMemory під час операцій оновлення набору даних, щоб зрозуміти максимальний обсяг споживаної пам’яті. Відстеження цього значення допомагає виявити будь-які вузькі місця та оптимізувати використання пам’яті.

• Відстежуйте використання ЦП : стежте за MashupCPUTime, який вказує на загальний час ЦП, споживаний Power Query Engine для всіх запитів. Ця інформація дозволяє оптимізувати ваші запити та мінімізувати споживання.

Ви можете підвищити загальну продуктивність і ефективність вашої системи LuckyTemplates, реалізувавши описані вище речі та використовуючи, як-от розділення, згортання запитів і формати зберігання великих наборів даних.

Далі ми розглянемо, як налаштувати поступове оновлення за допомогою різних джерел.

Використання інкрементального оновлення з різними джерелами даних

Ви можете використовувати LuckyTemplates Incremental Refresh з різними джерелами даних, зокрема DirectQuery та режими імпорту даних, а також сховища даних.

Ось деякі речі, які слід враховувати під час вибору джерела даних для імпорту в LuckyTemplates:

1. База даних SQL

Працюючи з базами даних SQL як джерелом даних, пам’ятайте:

• Створіть параметри дати/часу Power Query із зарезервованими іменами з урахуванням регістру: RangeStart і RangeEnd.

• Застосуйте до даних фільтри, використовуючи ці параметри, щоб відокремити дані, що оновлюються часто та рідше.

• Визначте політику поступового оновлення в LuckyTemplates Desktop перед публікацією в службі LuckyTemplates.

Майте на увазі, що поступове оновлення підтримується лише в середовищах LuckyTemplates Pro, наборах даних LuckyTemplates Embedded і Premium для кожного користувача.

2. Режими DirectQuery та Імпорт даних

LuckyTemplates пропонує два режими доступу до даних: DirectQuery та Імпорт даних .

Використання інкрементального оновлення з цими режимами передбачає наступне:

• DirectQuery : у режимі прямого запиту ви запитуєте дані з джерела даних у режимі реального часу, що означає, що дані не імпортуються до вашого набору даних LuckyTemplates. Ви можете використовувати інкрементне оновлення з прямим запитом, лише якщо у вас є план LuckyTemplates Premium, LuckyTemplates Embedded datasets або Premium per user plan.

• Імпорт даних : у цьому режимі ви імпортуєте дані у свій набір даних LuckyTemplates, а потім можете працювати з імпортованими даними. Щоб використовувати інкрементне оновлення з режимом імпорту даних, налаштуйте параметри RangeStart і RangeEnd, застосуйте фільтри та визначте політику інкрементального оновлення.

3. Сховище даних

Використання інкрементального оновлення зі сховищами даних подібне до використання баз даних SQL. Виконайте ті самі кроки, щоб створити параметри RangeStart і RangeEnd, застосувати фільтри до розділених даних на основі частоти оновлення та визначити політику поступового оновлення перед публікацією набору даних у службі LuckyTemplates.

Переконайтеся, що ви розумієте режими доступу до даних вашого середовища LuckyTemplates і обмеження для правильного використання інкрементного оновлення з різними джерелами даних.

Правильно налаштоване поступове оновлення може покращити ефективність зберігання даних і забезпечити доступність найновішої інформації для ваших звітів LuckyTemplates.

Оскільки ми розглянули, як використовувати поступове оновлення з різними джерелами даних, у наступному розділі ми розглянемо додаткові поради та підказки щодо використання поетапного оновлення LuckyTemplates.

Ці поради та підказки допоможуть вам отримати максимальну віддачу від даних і переконатися, що ви правильно використовуєте поступове оновлення.

3 передові прийоми та поради щодо використання інкрементального оновлення

Нижче наведено розширені поради та методи, за допомогою яких можна успішно розгорнути та оптимізувати поступове оновлення LuckyTemplates у своїй моделі даних:

1. Дані в реальному часі та оновлення

Працюючи з LuckyTemplates, важливо ефективно налаштувати поступове оновлення та дані в реальному часі для оптимальної продуктивності.

Поступове оновлення дає змогу спеціально оновлювати нові або змінені дані замість усього набору даних. У поєднанні з даними в реальному часі ви можете ефективно оновлювати свій звіт найновішою інформацією.

Щоб скористатися такими можливостями, налаштуйте або через LuckyTemplates Desktop, або такі інструменти, як Tabular Model Scripting Language (TMSL) або Tabular Object Model (TOM) через кінцеву точку XMLA.

2. Перетворення дати/часу на ціле число для DataView

Перетворення значень дати/часу на цілі числа полегшує роботу з даними та оптимізує ефективність оновлення. Ось кроки для перетворення дати/часу на ціле число в Power Query:

1. Відкрийте редактор Power Query у LuckyTemplates.

2. Виберіть стовпець, що містить значення дати/часу.

3. Перейдіть на вкладку «Трансформація» та натисніть «Тип даних».

4. Виберіть ціле число як новий тип даних.

Це перетворення сприяє кращій продуктивності, зменшуючи навантаження на обробку даних під час поступового оновлення.

3. Оновлювати лише повні дні

Під час налаштування політики поступового оновлення важливо оновлювати лише цілі дні, оскільки це запобігає непотрібній обробці даних і скорочує час завантаження звітів.

Щоб досягти цього, виконайте такі дії:

1. У LuckyTemplates Desktop клацніть таблицю правою кнопкою миші та виберіть Інкрементальне оновлення.

2. У вікні інкрементного оновлення визначте фільтр, наприклад Date_IS_AFTER = Date.IsAfterOrEqual([Date], DateTimeZone.SwitchZone(DateTime.LocalNow(), -TimeZoneOffset))

3. Налаштуйте параметри « rangeStart » і « rangeEnd » на використання лише повних днів. Наприклад, встановіть « rangeEnd » на дату попереднього дня.

Застосовуючи ці передові методи та поради, ви можете забезпечити ефективне керування набором даних, створення звітів і покращену продуктивність робочого процесу LuckyTemplates.

Заключні думки

І ось воно! Ми розгадали таємницю інкрементального оновлення LuckyTemplates. Це не просто якийсь технічний жаргон, а нова гра, яка може полегшити роботу з масивними наборами даних, заощадивши при цьому ваш час і ресурси.

Як користувач LuckyTemplates ви можете отримати значну користь від функції інкрементального оновлення. Ця розширена можливість у популярному інструменті бізнес-аналітики Microsoft економить ресурси та час, оновлюючи лише нові або змінені дані у ваших наборах даних.

Тож продовжуйте, спробуйте та відчуйте, як це покращує оновлення ваших даних. Пам’ятайте, у світі даних залишатися в курсі – це бути попереду!

Якщо ви хочете дізнатися більше про LuckyTemplates, ви можете переглянути відео нижче: