Najlepšie postupy načítania a transformácie údajov

Rád by som predstavil najlepšie postupy, ktoré som si osvojil pri príprave správ LuckyTemplates. Za posledných niekoľko rokov som spotreboval veľa online zdrojov o načítavaní a transformácii údajov, ktoré boli na mojej ceste kľúčové, no obsah ma rýchlo ohromil, takže som si nakoniec robil vlastné poznámky. Celé video tohto návodu si môžete pozrieť v spodnej časti tohto blogu.

Toto v žiadnom prípade nie je vyčerpávajúci zoznam ani osvedčené postupy – sú to len niektoré z tých, ktoré som začlenil do svojho vlastného vývoja. Tiež najlepšie postupy sa vždy vyvíjajú v priebehu času, keď sa v aplikácii LuckyTemplates zavádzajú nové a vylepšené možnosti a sú prezentované komunitou LuckyTemplates.

Rád by som predstavil prvý zo štyroch pilierov vývoja LuckyTemplates. Štyri piliere sú načítanie a transformácia údajov , modelovanie údajov , výpočty v jazyku DAX a zostavy a vizualizácie . Predvývojovému nastaveniu a prvému pilieru sa budeme venovať v tomto blogovom príspevku.

Obsah

• Vypnutie automatického dátumu/času
• Vypnutie automatického zisťovania vzťahov
• Interakcia s vizuálmi v správach LuckyTemplates
• Oddelenie množiny údajov od zostavy
• Vytvorenie tabuľky vyhradených dátumov
• Ďalšie pripomienky k tabuľke dátumov
• Kladenie otázok o správe
• Staging and Referencing Data
• Zníženie dátového zaťaženia
• Skladanie dopytov
• Používanie zdrojov údajov na skladanie dopytov
• Výber správneho režimu pripojenia
• Lokalizácia premien
• Osvedčené postupy pre pomenovanie a typy údajov
• Získavanie údajov s konzistentnou granularitou
• Záver

Vypnutie automatického dátumu/času

Dôrazne sa odporúča vypnúť funkciu automatického dátumu a času. Môžete to urobiť dvoma spôsobmi.

Môžete to urobiť globálne pre všetky súbory pomocou týchto krokov:

Môžete ho tiež zakázať pre aktuálny súbor zmenou jeho nastavenia.

Vypnutie automatického zisťovania vzťahov

Dôrazne sa tiež odporúča zakázať automatické zisťovanie vzťahov. Môžete prejsť na Súbor a zobraziť Možnosti a nastavenia, aby ste zakázali automatické zisťovanie nových vzťahov po načítaní údajov.

Interakcia s vizuálmi v správach LuckyTemplates

Ďalšia vec, o ktorej chcem hovoriť, sú dva spôsoby interakcie s vizuálmi v zostavách LuckyTemplates. Tieto interakcie môžu byť krížovo filtrované alebo krížovo zvýraznené .

Krížové zvýraznenie je v LuckyTemplates predvolene povolené. Môžete to zmeniť tak, že prejdete na Súbor a potom na Možnosti a nastavenia. Pre aktuálny súbor v sekcii nastavení zostavy môžete zmeniť vizuálnu interakciu z krížového zvýraznenia na krížové filtrovanie.

Poďme sa pozrieť na našu reportáž. Môžete vidieť, že LuckyTemplates štandardne používa krížové zvýraznenie súvisiacich vizuálov. Ak kliknem na jeden kanál z ľavého stĺpcového grafu, uvidíte, že vybratá časť je zvýraznená tmavou farbou, zatiaľ čo nevybraná časť zostane v druhom stĺpcovom grafe svetlou farbou.

Môžete vidieť, že celý tvar sa v grafe nemení a vidíte len zvýraznené časti. Môžete to zmeniť v nastaveniach zostavy a zmeniť predvolenú vizuálnu interakciu z krížového zvýraznenia na krížové filtrovanie.

Keď to urobíte, uvidíte, že tvar vášho súvisiaceho stĺpcového grafu sa zmení vždy, keď urobíte výber alebo skupinu výberov. Je to dobrá prax, do ktorej sa môžete dostať.

Oddelenie množiny údajov od zostavy

Ďalšia vec, o ktorej chcem hovoriť, je oddelenie vývoja množiny údajov od vývoja zostáv. Tu môžete mať súbor hrubej množiny údajov publikovaný ako samostatnú množinu údajov, ktorá nemá žiadne vizuály, a vývoj tenkého súboru zostavy, ktorý bude používať tieto zverejnené množiny údajov.

Jednou z výhod samostatného publikovania súborov údajov je, že na propagáciu a certifikáciu súborov údajov môžete použiť proces schvaľovania v službe LuckyTemplates. Ideálnym postupom je vybrať schválený súbor údajov, najlepšie certifikovaný, keď vyvíjate nový prehľad.

Vytvorenie tabuľky vyhradených dátumov

Uistite sa, že váš prehľad má v prehľade vyhradenú tabuľku dátumov. Môžete použiť ten, ktorý je dostupný na fóre LuckyTemplates. Kód M môžete skopírovať a vložiť do prázdneho dotazu.

Druhá vec, ktorú musíte urobiť, keď máte vyhradenú tabuľku dátumov, je označiť ju ako takú. To umožní, aby ho LuckyTemplates používali na výpočty časovej inteligencie.

Ďalšie pripomienky k tabuľke dátumov

Vždy sa uistite, že vaša tabuľka s údajmi je súvislá a že obsahuje jeden riadok za deň. Tiež skontrolujte, či úplne zakrýva okraje tabuľky faktov.

Do tabuľky Dátumy tiež pridajte celé roky. Je tiež vhodné pridať ďalší budúci rok do tabuľky Dátumy, aby ste umožnili akékoľvek budúce alebo prognózované výpočty času.

Ak máte v tabuľke Dátumy viac dní, ako chcete zobraziť vo svojom prehľade, môžete ovládať, čo sa zobrazuje v rýchlych filtroch, pomocou stĺpca IsAfterToday alebo stĺpcov s posunom, ktoré sú k dispozícii na table filtra.

Kladenie otázok o správe

Ďalšia vec, o ktorej chcem hovoriť, je, či by ste vôbec mali robiť správu. Počas toho skontrolujte, či existuje existujúca zostava, ktorú môžete použiť na splnenie svojich potrieb. Ak neexistuje žiadny prehľad, existuje existujúci dátový model, ktorý môžete použiť na splnenie potreby? Existuje existujúci súbor údajov, ktorý môžete použiť, alebo skutočne potrebujete začať od nuly?

Staging and Referencing Data

Ďalšia vec, o ktorej je potrebné hovoriť pri načítavaní údajov, je prípravné a referenčné údaje. Pri načítavaní tabuľky s plochými údajmi môžete mať fakty av rovnakej tabuľke ako súbor Excel. Keď vykonáte načítanie a presuniete ho do sekcie prípravného dotazu a premenujete ho, môžete zrušiť začiarknutie políčka Povoliť načítanie .

Ďalším krokom je vytvorenie odkazu na túto tabuľku pre každý fakt a dimenziu vyhľadávania a príslušné premenovanie tabuliek. Upravte každý odkaz, ponechajte iba potrebné stĺpce a odstráňte duplikáty.

Usporiadajte svoj dátový model a vložte ho do vlastnej skupiny. Vo svojich dátových modeloch mám vždy skupinu s názvom Dátový model, ktorá má všetky tabuľky, ktoré budem používať vo svojich vizuáloch.

Zníženie dátového zaťaženia

Ďalšia vec, o ktorej treba hovoriť, je výkon nástroja pri načítavaní údajov. Jednou z najväčších vecí, ktoré ovplyvňujú výkon, je objem dát, preto sa snažte čo najviac znížiť množstvo načítaných dát .

Postupujte podľa tejto axiómy:

Ak ho nepotrebujete, nevyberajte ho.

Je oveľa jednoduchšie pridávať nové veci do správy, ako veci z našej správy vyberať. Ak do správy vložíte príliš veľa vecí, budete platiť pokutu za výkon, ktorý nemusíte zažiť.

Prednostne vykonajte filtrovanie v zdroji. Ak to nemôžete urobiť v zdroji, použite šípku rozbaľovacej ponuky automatického filtra v dotaze napájania na filtrovanie polí, ktoré vás zaujímajú.

V zdroji môžete tiež znížiť počet zobrazovaných stĺpcov pomocou rozbaľovacej ponuky Vybrať stĺpce a výberom iba stĺpcov, ktoré vás zaujímajú.

Môžete použiť buď Vybrať stĺpce alebo Odstrániť stĺpce . Odporúčam použiť možnosť Vybrať stĺpce ako osvedčený postup, pretože je ľahké sa k tomu vrátiť.

Ak si to neskôr rozmyslíte, umožní vám to rýchly spôsob, ako to urobiť cez používateľské rozhranie namiesto toho, aby ste prešli do pokročilého editora a priamo upravovali kód M.

Skladanie dopytov

Skladanie dopytov je ďalším pokusom LuckyTemplates o načítaní údajov s cieľom skombinovať niekoľko krokov výberu a transformácie údajov do jedného dotazu na zdroj údajov.

Ak chcete zistiť, či je dotaz zložený, kliknite pravým tlačidlom myši na použité kroky dotazu. Môžete vidieť, či je natívny dopyt sivý.

Ak je sivý, dopyt sa neprekladá. Ak nie je zašednutý, dotaz možno zložiť.

Poďme teda na Transformovať údaje. Ak v tejto tabuľke kliknem pravým tlačidlom myši na krok navigácie, vidím, že Zobraziť natívny dotaz nie je sivý, takže ho môžem vybrať.

Tu uvidíme jednoduchý príkaz SQL select.

Ak po dokončení filtrovania prejdeme na ďalší krok a zobrazíme natívny dotaz, môžeme vidieť, že dotaz bol mierne zmenený a v spodnej časti tohto dotazu je klauzula „kde“.

Ak prejdeme na tretí krok a klikneme naň pravým tlačidlom myši, vidíme, že natívny dotaz nie je zašednutý, takže ho môžeme vybrať ešte raz.

Keď vyberieme, môžeme vidieť, že tri dopyty sa ešte viac zrútili do jedného. Toto je LuckyTemplates, ktoré hovorí, že najlepší spôsob, ako dostať údaje do modelu, je, že prácu vykoná zdroj a nie ja.

Používanie zdrojov údajov na skladanie dopytov

Zdroje údajov, ktoré možno zvyčajne použiť so skladaním dotazov, sú štandardné objekty v relačných databázach, ako sú tabuľky a zobrazenia.

Vlastné dotazy SQL do relačných databáz nemôžu používať skladanie dotazov. Ploché súbory a webové údaje sa tiež nedajú zložiť.

Niektoré z transformácií, ktoré možno použiť so skladaním dotazov, sú filtrovanie riadkov , odstránenie stĺpcov , premenovanie stĺpcov a spojenie s inými dotazmi z rovnakého zdroja údajov.

Niektoré z transformácií, ktoré nemožno použiť so skladaním dotazov, zahŕňajú pridávanie indexových stĺpcov , zmenu typov údajov stĺpcov a zlučovanie alebo pridávanie dotazov z rôznych zdrojov údajov .

Výber správneho režimu pripojenia

Ďalšia vec, ktorú treba urobiť na zlepšenie výkonu, je výber správneho režimu pripojenia. Režim importu je predvolený a mal by sa používať vždy, keď je to možné, pretože ponúka najlepší výkon prehľadu.

Režim priameho dotazovania je možné použiť, ak sú požadované aktuálne údaje, ale uvedomte si, že môže a pravdepodobne bude mať negatívny vplyv na výkon.

Nakoniec je k dispozícii režim živého pripojenia , keď pristupujete k dátovým skladom, ako sú viacrozmerné kocky SSAS.

Lokalizácia premien

Ďalšia vec, o ktorej chcem hovoriť, je miesto, kde sa tieto transformácie majú vykonať. Najlepšie miesto na ich vykonanie je v zdroji . Ak ich nemôžete urobiť v zdroji, urobte ich v silovom dotaze . Ak ich nemôžete urobiť v silovom dotaze, urobte ich v jazyku DAX .

Vykonajte transformácie údajov tak ďaleko, ako je to možné, a tak ďaleko, ako je to potrebné.

Ak môžete urobiť niečo v power dotaze, potom by ste pravdepodobne mali.

Opäť platí, že ak nejde o niečo, čo je dynamické v kontexte relácie zostavy, zvážte vykonanie toho v silnom dotaze, aby ste zjednodušili jazyk DAX a zvýšili výkonnosť zostavy.

Pokiaľ ide o tvar vašich tabuliek, snažte sa, aby tabuľky faktov boli dlhé a tenké , a snažte sa, aby tabuľky rozmerov boli krátke a široké .

Osvedčené postupy pre pomenovanie a typy údajov

Používajte konzistentnú schému názvov a malých a veľkých písmen, ktorá je pre používateľov prehľadov jednoduchá. Premenujte svoje tabuľky a dotazy podľa potreby, aby vyhovovali štandardom pre pomenovanie a veľké a malé písmená pre váš prehľad.

Premenujte svoje stĺpce podľa potreby, aby vyhovovali týmto štandardom pre pomenovanie a veľké a malé písmená, a tiež podľa potreby premenujte svoje kroky Power dotazu, aby sa kroky popisovali samostatne, pretože nemusíte byť osobou, ktorá spravuje zostavu.

LuckyTemplates odvádza vynikajúcu prácu pri priraďovaní správnych typov údajov pri importe údajov, ale niekedy sú potrebné aj určité úpravy. Mali by ste sa uistiť, že stĺpce v rôznych tabuľkách sa použijú ako spojovacie stĺpce medzi dvoma tabuľkami, ktoré majú rovnaký typ údajov.

Uistite sa, že všetky stĺpce dátumu sú Dátum a nie Text. Rozdeľte stĺpce dátumu a času do samostatných stĺpcov s dátumami a samostatnými stĺpcami s časom.

Ako posledný krok znova skontrolujte typy údajov . Pred stlačením tlačidla Zavrieť a Použiť v silovom dotaze si urobte prax, aby ste vždy znova skontrolovali typy údajov, pretože niektoré transformácie môžu ticho zmeniť typy údajov na text.

Získavanie údajov s konzistentnou granularitou

Posledná vec, o ktorej treba diskutovať, je granularita. Počas procesu načítania a transformácie údajov by ste sa mali snažiť získavať údaje s konzistentnou granularitou. Keď vo svojom riešení kombinujete rôzne podrobnosti, použite na správne priradenie referenčných údajov funkciu Power query (najlepšie) alebo DAX.

Ak sú napríklad vaše hlavné údaje o predaji na dennej úrovni, ich podrobnosti sú denné. Ak sú referenčné údaje vášho rozpočtu na mesačnej úrovni, ich podrobnosti sú mesačne. Tu je príklad, ktorý si môžete pozrieť pri vykonávaní úprav podrobnosti.

Záver

Dúfam, že tento návod na načítanie a transformáciu údajov bol pre vás užitočný. Ak áno, nezabudnite sa prihlásiť na odber kanála YouTube LuckyTemplates, aby ste boli informovaní o akomkoľvek novom obsahu.

Greg