Найкращі методи завантаження та перетворення даних

Я хотів би представити найкращі практики, які я застосував під час підготовки звітів LuckyTemplates. Протягом останніх кількох років я використовував багато онлайн-ресурсів із завантаження та перетворення даних, які зіграли важливу роль у моїй подорожі, але мене швидко перевантажив вміст, тому я зрештою зробив власні нотатки. Ви можете переглянути повне відео цього підручника внизу цього блогу.

Це аж ніяк не вичерпний список і не найкращі практики – це лише деякі з тих, які я включив у свою власну розробку. Крім того, найкращі практики завжди розвиваються з часом, оскільки нові та розширені можливості вводяться в програму LuckyTemplates і представлені спільнотою LuckyTemplates.

Я хотів би представити перший із чотирьох стовпів розробки LuckyTemplates. Чотири стовпи — це завантаження та перетворення даних , моделювання даних , обчислення DAX , а також звіти та візуалізації . У цій публікації блогу ми розглянемо налаштування перед розробкою та перший стовп.

Зміст

• Вимкнення автоматичної дати/часу
• Вимкнення автоматичного визначення зв’язків
• Взаємодія з візуальними елементами у звітах LuckyTemplates
• Відокремлення набору даних від звіту
• Створення спеціальної таблиці дат
• Інші нагадування для таблиці дат
• Запитання щодо звіту
• Постановка та посилання на дані
• Зменшення навантаження на дані
• Згортання запитів
• Використання джерел даних для згортання запитів
• Вибір правильного режиму підключення
• Розташування трансформацій
• Найкращі методи іменування та типів даних
• Джерело даних із узгодженою деталізацією
• Висновок

Вимкнення автоматичної дати/часу

Настійно рекомендуємо вимкнути функцію автоматичної дати й часу. Зробити це можна двома способами.

Ви можете зробити це глобально для всіх файлів, виконавши такі дії:

Ви також можете вимкнути його для поточного файлу, змінивши його налаштування.

Вимкнення автоматичного визначення зв’язків

Також настійно рекомендується вимкнути зв’язки автоматичного визначення. Ви можете перейти до файлу та переглянути параметри та налаштування, щоб вимкнути автоматичне визначення нових зв’язків після завантаження даних.

Взаємодія з візуальними елементами у звітах LuckyTemplates

Наступне, про що я хочу поговорити, це два способи взаємодії з візуальними елементами у звітах LuckyTemplates. Ці взаємодії можна відфільтрувати або виділити .

Перехресне підсвічування ввімкнено за замовчуванням у LuckyTemplates. Ви можете змінити це, перейшовши у «Файл», а потім у «Параметри та налаштування». Для поточного файлу в розділі налаштувань звіту ви можете змінити візуальну взаємодію з перехресного підсвічування на перехресну фільтрацію.

Давайте поглянемо на наш звіт. Ви бачите, що за замовчуванням LuckyTemplates використовує перехресне підсвічування пов’язаних візуальних елементів. Якщо я клацну один канал на лівій гістограмі, ви побачите, що вибрана частина виділена темним кольором, а невибрана частина залишиться світлим кольором у другій гістограмі.

Ви бачите, що повна форма не змінюється на графіку, і ви бачите лише виділені частини. Ви можете змінити це в налаштуваннях звіту та змінити візуальну взаємодію за замовчуванням із перехресного підсвічування на перехресну фільтрацію.

Зробивши це, ви побачите, що форма вашої пов’язаної гістограми змінюватиметься кожного разу, коли ви робите виділення або групу виділень. Це хороша практика.

Відокремлення набору даних від звіту

Наступне, про що я хочу поговорити, це відокремлення розробки набору даних від розробки звіту. Тут ви можете опублікувати товстий файл набору даних як окремий набір даних, який не має візуальних елементів, і створити тонкий файл звіту, який використовуватиме ці опубліковані набори даних.

Однією з переваг окремої публікації наборів даних є те, що ви можете використовувати процес схвалення в службі LuckyTemplates для просування та сертифікації наборів даних. Ідеальною практикою є вибір схваленого набору даних, бажано сертифікованого, коли ви розробляєте новий звіт.

Створення спеціальної таблиці дат

Переконайтеся, що у вашому звіті є спеціальна таблиця дат. Ви можете скористатися тим, що доступний на форумі LuckyTemplates. Ви можете скопіювати та вставити код M у порожній запит.

Друге, що потрібно зробити, якщо у вас є спеціальна таблиця дат, це позначити її як таку. Це дозволить використовувати LuckyTemplates для обчислень інтелекту часу.

Інші нагадування для таблиці дат

Завжди переконайтеся, що ваша таблиця даних є суміжною та містить один рядок на день. Також переконайтеся, що він повністю покриває краї вашої таблиці фактів.

Також додайте повні роки до таблиці дат. Також доцільно додати додатковий майбутній рік до таблиці дат, щоб увімкнути будь-які обчислення майбутнього або прогнозованого часу.

Якщо у вашій таблиці дат більше днів, ніж ви хочете відобразити у звіті, ви можете керувати тим, що відображатиметься в зрізах, за допомогою стовпця IsAfterToday або стовпців зміщення, доступних на панелі фільтрів.

Запитання щодо звіту

Наступне, про що я хочу поговорити, це те, чи варто взагалі робити звіт. Поки ви це робите, перевірте, чи існує звіт, який можна використати для задоволення ваших потреб. Якщо звіту немає, чи існує існуюча модель даних, яку можна використати для задоволення потреби? Чи є наявний набір даних, який можна використовувати, чи вам насправді потрібно починати з нуля?

Постановка та посилання на дані

Наступне, про що слід поговорити під час завантаження даних, — це дані про постановку та посилання. Коли ви завантажуєте плоску таблицю даних, ви можете мати факти тау тій самій таблиці, як у файлі Excel. Коли ви виконуєте завантаження та переміщуєте його в розділ проміжного запиту та перейменовуєте його, ви можете зняти прапорець Увімкнути завантаження .

Наступним кроком є ​​створення посилання на цю таблицю для кожного факту та параметра пошуку та відповідне перейменування таблиць. Відредагуйте кожне посилання, збережіть лише потрібні стовпці та видаліть дублікати.

Організуйте свою модель даних і помістіть її в окрему групу. У моїх моделях даних завжди є група під назвою Модель даних, яка містить усі таблиці, які я збираюся використовувати у своїх візуальних елементах.

Зменшення навантаження на дані

Наступне, про що варто поговорити, це продуктивність інструменту під час завантаження даних. Однією з найбільших речей, яка впливає на продуктивність, є обсяг даних, тому намагайтеся якомога більше зменшити обсяг даних, які потрібно завантажити .

Дотримуйтесь цієї аксіоми:

Якщо він вам не потрібен, не відновлюйте його.

Набагато легше додавати нові речі до звіту, ніж вилучати щось із нашого звіту. Крім того, коли ви вносите занадто багато речей у звіт, ви будете платити штраф за продуктивність, яку вам не потрібно відчувати.

Бажано виконати фільтрацію в джерелі. Якщо ви не можете зробити це в джерелі, скористайтеся стрілкою розкривного списку автоматичного фільтрування в потужному запиті, щоб відфільтрувати поля, які вас цікавлять.

Крім того, у джерелі ви також можете зменшити кількість стовпців, які відображаються, скориставшись спадним меню Вибрати стовпці та вибравши лише ті стовпці, які вас цікавлять.

Ви можете скористатися Вибрати стовпці або Вилучити стовпці . Я рекомендую використовувати стовпці «Вибрати» як найкращу практику, оскільки до них легко повернутися.

Якщо пізніше ви передумаєте, це дозволить вам швидко зробити це через інтерфейс користувача, замість того, щоб переходити в розширений редактор і безпосередньо редагувати код M.

Згортання запитів

Згортання запитів — це ще одна спроба LuckyTemplates завантажити дані, щоб об’єднати кілька етапів вибору та перетворення даних в єдиний запит джерела даних.

Щоб визначити, чи згортається запит, клацніть правою кнопкою миші на застосованих кроках запиту. Ви можете побачити, чи нативний запит неактивний.

Якщо він неактивний, запит не згортається. Якщо він не виділений сірим кольором, запит можна згорнути.

Тоді давайте перейдемо до Transform data. У цій таблиці, якщо я клацну правою кнопкою миші на етапі навігації, я побачу, що View Native Query не виділено сірим кольором, тому я можу вибрати його.

Тут ми побачимо простий оператор SQL select.

Якщо ми перейдемо до наступного кроку після завершення фільтрації та переглянемо власний запит, ми побачимо, що запит було дещо змінено, і в нижній частині цього запиту є пропозиція «де».

Якщо ми перейдемо до третього кроку та клацнемо на ньому правою кнопкою миші, ми побачимо, що нативний запит не виділено сірим кольором, тому ми можемо вибрати його ще раз.

Після того, як ми виберемо, ми побачимо, що три запити ще більше згортаються в один. LuckyTemplates каже, що найкращий спосіб отримати дані в моделі — це зробити джерело, а не я.

Використання джерел даних для згортання запитів

Джерела даних, які зазвичай можна використовувати зі згортанням запитів, є стандартними об’єктами в реляційних базах даних, такими як таблиці та представлення.

Спеціальні запити SQL до реляційних баз даних не можуть використовувати згортання запитів. Плоскі файли та веб-дані також не можна згортати.

Деякі з перетворень, які можна використовувати зі згортанням запитів, це фільтрування рядків , видалення стовпців , перейменування стовпців і об’єднання з іншими запитами з того самого джерела даних.

Деякі з перетворень, які не можна використовувати зі згортанням запиту, включають додавання стовпців індексу , зміну типів даних стовпця та об'єднання або додавання запитів із різних джерел даних .

Вибір правильного режиму підключення

Наступне, що потрібно зробити, щоб підвищити продуктивність, це вибрати правильний режим підключення. Режим імпорту є стандартним, і його слід використовувати, коли це можливо, оскільки він забезпечує найкращу продуктивність звіту.

Режим прямого запиту можна використовувати, якщо потрібні найновіші дані, але майте на увазі, що це може й, імовірно, матиме негативний вплив на продуктивність.

Нарешті, режим живого підключення доступний, коли ви отримуєте доступ до сховищ даних, таких як багатовимірні куби SSAS.

Розташування трансформацій

Наступне, про що я хочу поговорити, це місце, де ці перетворення мають бути здійснені. Найкраще це робити в джерелі . Якщо ви не можете зробити це в джерелі, зробіть це в power query . Якщо ви не можете виконати їх у Power Query, виконайте їх у DAX .

Виконуйте перетворення даних якомога далі вгору та якомога далі вниз за потоком.

Якщо ви можете зробити щось у Power Query, то, ймовірно, вам це потрібно.

Знову ж таки, якщо це не те, що є динамічним у контексті сеансу звіту, спробуйте зробити це в Power Query, щоб спростити DAX і підвищити продуктивність звіту.

Що стосується форми ваших таблиць, намагайтеся робити таблиці фактів довгими й тонкими , а таблиці розмірів – короткими й широкими .

Найкращі методи іменування та типів даних

Використовуйте узгоджену схему іменування та регістру , яку легко зрозуміти користувачам звіту. За потреби перейменуйте свої таблиці та запити , щоб вони відповідали стандартам іменування та регістру для вашого звіту.

За потреби перейменуйте стовпці , щоб вони відповідали цим стандартам іменування та регістру, а також за потреби перейменуйте кроки потужного запиту , щоб зробити кроки самоописними, оскільки ви можете не бути особою, яка підтримує звіт.

LuckyTemplates чудово справляється з призначенням правильних типів даних під час імпорту даних, але іноді також потрібні деякі коригування. Ви повинні переконатися, що стовпці в різних таблицях будуть використовуватися як зв’язувальні стовпці між двома таблицями одного типу даних.

Переконайтеся, що в усіх стовпцях дати є дата, а не текст. Розділіть стовпці дати/часу на окремі стовпці "Дати" та "Час".

Як останній крок, ще раз перевірте свої типи даних . Перш ніж натиснути «Закрити» та «Застосувати» в Power Query , попрактикуйтеся завжди перевіряти типи даних, оскільки певні перетворення можуть мовчки перемикати типи даних на текст.

Джерело даних із узгодженою деталізацією

Останнє, що варто обговорити, це деталізація. Під час процесу завантаження та перетворення даних ви повинні прагнути отримати дані з узгодженою деталізацією. Якщо ви поєднуєте різні рівні деталізації у своєму рішенні, використовуйте потужний запит (бажано) або DAX, щоб належним чином розподілити довідкові дані.

Наприклад, якщо ваші основні дані про продажі на щоденному рівні, їх деталізація буде щоденною. Якщо довідкові дані вашого бюджету є на місячному рівні, їх деталізація є щомісячною. Ось приклад того, як ви можете переглянути коригування деталізації.

Висновок

Сподіваюся, цей посібник із завантаження та перетворення даних був для вас корисним. Якщо так, не забудьте підписатися на YouTube-канал LuckyTemplates, щоб отримувати сповіщення про будь-який новий вміст.

Грег