VertiPaq LuckyTemplates: Як кодуються стовпці

У цьому посібнику ви дізнаєтеся про методи кодування стовпців за допомогою. Ви зрозумієте, як працює кожен метод і як він впливає на продуктивність вашого DAX.

Кожен метод має власний стиль стиснення даних, щоб ви могли швидше та плавніше здійснювати транзакції.

Зміст

• Кодування значень за допомогою VertiPaq у LuckyTemplates
• Словникове кодування
• Запустіть кодування довжини за допомогою VertiPaq у LuckyTemplates
• Кодування довжини циклу з використанням закодованих стовпців
• Висновок

Кодування значень за допомогою VertiPaq у LuckyTemplates

Перший тип стиснення даних – це кодування значень . Це відбувається в стовпцях цілочисельного типу.

Це приклад стовпця початкової вартості:

Ви бачите, що всередині є цінності.

Тепер, якщо VertiPaq зберігає ці дані в стовпці як є, йому знадобиться 12 біт пам’яті.

однак, шукає способи мінімізації обсягу пам’яті, необхідного для зберігання даних. Він знайде мінімальне значення стовпця, а потім закодує цей стовпець, віднімаючи 3004 від кожного значення. Для цього йому знадобиться лише 9 біт пам’яті.

VertiPaq зменшив необхідну пам’ять, завдяки чому ваш код працює швидше.

Словникове кодування

Наступним методом стиснення даних є словникове або хеш- кодування , яке використовується для стовпців нецілих чи текстових значень.

Це приклад стовпця з повторюваними назвами продуктів:

VertiPaq має функцію, яка допомагає стискати нецілі стовпці. Він створює список різних значень у цьому стовпці, а потім призначає їм номер.

Ви бачите, що він застосовує номер, який відповідає назвам продуктів.

Далі він замінює значення назв продуктів цілими значеннями.

Для зберігання цілих значень потрібно менше бітів, ніж для зберігання текстових значень.

Це те, що DAX і Storage Engine роблять під час кодування.

Запустіть кодування довжини за допомогою VertiPaq у LuckyTemplates

Останній тип кодування називається Run Length Encoding . Він шукає значення, що повторюються, і зберігає початок і кінець.

Це зразок таблиці з  ідентифікатором продавця та  рядками :

І це таблиця, яка закодована за допомогою кодування довжини серії:

Він знає, що продавець з ідентифікатором EMP1017 переходить від рядка 1 до 363.

Ви побачите, що він має початок рядка, кінець рядка, а також показує кількість повторюваних значень між ними. Отже, немає необхідності зберігати EMP1017 362 рази, оскільки він знає, де починається і де закінчується.

Кодування довжини циклу з використанням закодованих стовпців

Ще одна чудова перевага VertiPaq полягає в тому, що він міг запускати кодування довжини для стовпців, які були закодовані за допомогою кодування значень або словника.

Це таблиця, закодована за допомогою словникового кодування:

Ви помітите, що стовпець NameID повторюється. Це означає, що ви можете використовувати кодування довжини серії зі стовпцем.

У цьому випадку VertiPaq шукатиме лише NameID, початок і кінець рядка.

Таким чином, замість того, щоб зберігати цілі значення 3 рази, він тепер зберігає їх один раз.

Висновок

Всередині, існує 3 методи стиснення даних, які забезпечують більш плавну роботу коду DAX.

Після того, як ви зрозумієте, як кожен метод працює у ваших обчисленнях, ви можете використовувати та максимізувати будь-який із них, щоб покращити продуктивність коду та легко отримувати потрібні дані у своїх звітах.