Az adatbetöltés és -átalakítás legjobb gyakorlatai

Szeretném bemutatni azokat a bevált gyakorlatokat, amelyeket a LuckyTemplates jelentések elkészítése során alkalmaztam. Az elmúlt néhány évben sok online forrást használtam fel az adatok betöltésével és átalakításával kapcsolatban, amelyek nagyban hozzájárultak az utam során, de hamar lenyűgözött a tartalom, így végül saját jegyzeteket készítettem. Az oktatóanyag teljes videóját a blog alján tekintheti meg.

Ez egyáltalán nem egy teljes lista, és nem a legjobb gyakorlatok – csak néhány azok közül, amelyeket beépítettem a saját fejlesztésembe. Ezenkívül a bevált gyakorlatok mindig fejlődnek az idő múlásával, ahogy a LuckyTemplates alkalmazásban új és továbbfejlesztett képességek jelennek meg, amelyeket a LuckyTemplates közösség mutat be.

Szeretném bemutatni a LuckyTemplates fejlesztés négy pillére közül az elsőt. A négy pillér az adatbetöltés és adatátalakítás , az adatmodellezés , a DAX-számítások , valamint a jelentések és vizualizációk . Ebben a blogbejegyzésben a fejlesztés előtti beállítással és az első pillérrel foglalkozunk.

Tartalomjegyzék

• Az automatikus dátum/idő letiltása
• A kapcsolatok automatikus felismerése letiltása
• Interakció a vizuális eszközökkel a LuckyTemplates jelentésekben
• Adatkészlet elkülönítése a jelentéstől
• Dedikált dátumtáblázat létrehozása
• Egyéb emlékeztetők a dátumtáblázathoz
• Kérdések feltevése a jelentéssel kapcsolatban
• Adatok állomásoztatása és hivatkozása
• Az adatterhelés csökkentése
• Lekérdezés Folding
• Adatforrások használata a lekérdezés hajtogatásához
• A megfelelő kapcsolódási mód kiválasztása
• Az átalakulások helye
• Az elnevezések és adattípusok bevált gyakorlatai
• Adatok beszerzése egységes részletességgel
• Következtetés

Az automatikus dátum/idő letiltása

Erősen ajánlott az automatikus dátum és idő funkció kikapcsolása. Ezt kétféleképpen teheti meg.

Ezt globálisan megteheti az összes fájl esetében az alábbi lépésekkel:

Az aktuális fájlnál is letilthatja a beállítás módosításával.

A kapcsolatok automatikus észlelése letiltása

Erősen ajánlott az automatikus észlelési kapcsolatok letiltása is. Lépjen a Fájlba, és tekintse meg az Opciók és beállítások menüpontot az új kapcsolatok automatikus észlelésének letiltásához az adatok betöltése után.

Interakció a vizuális eszközökkel a LuckyTemplates jelentésekben

A következő dolog, amiről beszélni szeretnék, az a két mód, ahogyan a LuckyTemplates jelentések vizuális elemeivel interakcióba léphet. Ezek az interakciók keresztszűrhetők vagy keresztkiemelhetők .

A keresztkiemelés alapértelmezés szerint engedélyezve van a LuckyTemplates alkalmazásban. Ezt a Fájl, majd a Beállítások és beállítások menüpontban módosíthatja. Az aktuális fájlnál a jelentésbeállítások szakaszban módosíthatja a vizuális interakciót keresztkiemelésről keresztszűrésre.

Vessünk egy pillantást a beszámolónkra. Látható, hogy alapértelmezés szerint a LuckyTemplates keresztkiemelést használ a kapcsolódó látványelemeken. Ha a bal oldali oszlopdiagram egyik csatornájára kattintok, látni fogja, hogy a kiválasztott rész sötét színnel van kiemelve, míg a ki nem választott rész világos színű marad a második oszlopdiagramban.

Láthatja, hogy a teljes alakzat nem változik a grafikonon, és csak a kiemelt részeket látja. Ezt a jelentésbeállításokban módosíthatja, és az alapértelmezett vizuális interakciót keresztkiemelésről keresztszűrésre módosíthatja.

Ha ezt megtette, látni fogja, hogy a kapcsolódó oszlopdiagram alakja minden alkalommal megváltozik, amikor kiválaszt egy kijelölést vagy kijelölések csoportját. Ez egy jó gyakorlat, amelybe belevághatsz.

Adatkészlet elkülönítése a jelentéstől

A következő dolog, amiről beszélni szeretnék, az az adatkészlet-fejlesztés és a jelentéskészítés elkülönítése. Itt tehet közzé egy vastag adatkészlet-fájlt önálló adatkészletként, amely nem tartalmaz vizualizációt, és egy vékony jelentésfájl-fejlesztést, amely ezeket a közzétett adatkészleteket fogja használni.

Az adatkészletek külön közzétételének egyik előnye, hogy a LuckyTemplates szolgáltatás jóváhagyási folyamatát használhatja adatkészletek népszerűsítésére és tanúsítására. Ideális gyakorlat egy jóváhagyott adatkészlet kiválasztása, lehetőleg egy hitelesített adatkészletet, amikor új jelentést dolgoz ki.

Dedikált dátumtáblázat létrehozása

Győződjön meg arról, hogy a jelentésben szerepel egy külön Dátumtáblázat. Használhatja a LuckyTemplates fórumon elérhetőt. Az M kódot kimásolhatja és beillesztheti egy üres lekérdezésbe.

A második dolog, amit meg kell tennie, ha már rendelkezik egy dedikált dátumtáblázattal, az az, hogy megjelöli azt. Ez lehetővé teszi, hogy a LuckyTemplates használja az időintelligencia számításokhoz.

Egyéb emlékeztetők a dátumtáblázathoz

Mindig győződjön meg arról, hogy az adattábla egybefüggő, és hogy naponta egy sor legyen. Ezenkívül ellenőrizze, hogy teljesen lefedi-e a ténytáblázat széleit.

Ezenkívül adjon hozzá teljes éveket a Dátumok táblázathoz. Célszerű egy további jövőbeli évet is hozzáadni a Dátumok táblázathoz, hogy lehetővé tegye a jövőbeli vagy előrejelzési időintelligencia számításokat.

Ha több napja van a Dátumok táblázatban, mint amennyit meg szeretne jeleníteni a jelentésben, az IsAfterToday oszlop vagy a szűrőpanelen elérhető eltolásoszlopok segítségével szabályozhatja, hogy mi jelenjen meg a szeletelőkben.

Kérdések feltevése a jelentéssel kapcsolatban

A következő dolog, amiről beszélni szeretnék, az az, hogy kell-e egyáltalán jelentést készítenie. Miközben ezt csinálja, ellenőrizze, hogy létezik-e olyan jelentés, amelyet felhasználhat az igényeinek kielégítésére. Ha nincs jelentés, van-e létező adatmodell, amelyet felhasználhat a szükséglet kielégítésére? Van létező adatkészlet, amelyet használhat, vagy valóban elölről kell kezdenie?

Adatok állomásoztatása és hivatkozása

A következő dolog, amiről beszélni kell az adatbetöltés során, az az adatok állomásoztatása és hivatkozása. Lapos adattáblázat betöltésekor tények és tények lehetnekugyanabban a táblázatban, mint egy Excel-fájlban. Amikor végrehajt egy betöltést, és áthelyezi egy átmeneti lekérdezési szakaszba, és átnevezi, törölje a betöltés engedélyezése jelölőnégyzetet .

A következő lépés az adott táblázat hivatkozásának létrehozása minden tény- és keresési dimenzióhoz, és a táblák megfelelő átnevezése. Szerkesszen minden hivatkozást, csak a szükséges oszlopokat tartsa meg, és távolítsa el az ismétlődéseket.

Rendszerezze az adatmodellt, és helyezze a saját csoportjába. Az adatmodelleimben mindig van egy Data Model nevű csoport, amely tartalmazza az összes táblát, amelyet a vizualizációmban használni fogok.

Az adatterhelés csökkentése

A következő dolog az eszköz teljesítménye az adatok betöltésekor. A teljesítményt befolyásoló egyik legnagyobb dolog az adatmennyiség, ezért törekedjen arra, hogy amennyire csak lehetséges, csökkentse a betöltendő adatok mennyiségét .

Kövesse ezt az axiómát:

Ha nincs rá szüksége, ne vegye vissza.

Sokkal könnyebb új dolgokat hozzáadni egy jelentéshez, mint kivenni a jelentésből. Ha túl sok dolgot ír be egy jelentésbe, akkor büntetést kell fizetnie olyan teljesítményért, amelyet nem kell megtapasztalnia.

Lehetőleg a forrásban végezze el a szűrést. Ha nem tudja megtenni a forrásban, használja az automatikus szűrő legördülő nyilat a bekapcsoló lekérdezésben az Önt érdeklő mezők szűréséhez.

A forrásban is csökkentheti a megjelenített oszlopok számát az Oszlopok kiválasztása legördülő menü használatával, és csak az Önt érdeklő oszlopok kiválasztásával.

Használhatja az Oszlopok kiválasztása vagy az Oszlopok eltávolítása lehetőséget . Azt javaslom, hogy az Oszlopok kiválasztása bevált gyakorlatként használja, mert könnyen vissza lehet térni.

Ha egy későbbi időpontban meggondolja magát, akkor ez gyors módot tesz lehetővé a felhasználói felületen keresztül, ahelyett, hogy bemenne a speciális szerkesztőbe és közvetlenül szerkesztené az M-kódot.

Lekérdezés Folding

A lekérdezés hajtogatása a LuckyTemplates egy másik adatbetöltési kísérlete, amely több adatkiválasztási és -átalakítási lépést egyetlen adatforrás-lekérdezéssé kombinál.

Ha meg szeretné állapítani, hogy a lekérdezés össze van hajtva, kattintson a jobb gombbal a lekérdezés alkalmazott lépéseire. Láthatja, hogy egy natív lekérdezés szürkén jelenik-e meg.

Ha ki van szürkítve, akkor a lekérdezés nem hajtható be. Ha nincs kiszürkítve, akkor a lekérdezés összecsukható.

Akkor menjünk az Adatok átalakítása részhez. Ebben a táblázatban, ha jobb gombbal rákattintok a navigációs lépésre, azt látom, hogy a Nézet Natív lekérdezés nem szürkén jelenik meg, így kiválaszthatom.

Itt egy egyszerű SQL select utasítást fogunk látni.

Ha a szűrés után a következő lépésre lépünk, és megnézzük a natív lekérdezést, láthatjuk, hogy a lekérdezés kissé módosult, és a lekérdezés alján van egy „hol” záradék.

Ha a harmadik lépésre lépünk, és rákattintunk a jobb gombbal, akkor láthatjuk, hogy a natív lekérdezés nincs kiszürkítve, így még egyszer kiválaszthatjuk.

Miután kiválasztottuk, láthatjuk, hogy a három lekérdezés még jobban összeomlik. Ez a LuckyTemplates azt mondja, hogy a legjobb módja annak, hogy az adatok a modellbe kerüljenek, ha a forrás végzi el a munkát, nem pedig én.

Adatforrások használata a lekérdezés hajtogatásához

A lekérdezés hajtogatásához jellemzően használható adatforrások szabványos objektumok relációs adatbázisokban, például táblákban és nézetekben.

A relációs adatbázisok egyéni SQL-lekérdezései nem használhatják a lekérdezés hajtogatását. A lapos fájlok és a webes adatok szintén nem hajtogathatók.

A lekérdezés hajtogatásával használható átalakítások némelyike ​​a sorok szűrése , az oszlopok eltávolítása , az oszlopok átnevezése és az ugyanabból az adatforrásból származó más lekérdezésekhez való csatlakozás .

A lekérdezés hajtogatásával nem használható átalakítások közé tartozik az indexoszlopok hozzáadása , az oszlop adattípusainak módosítása , valamint a különböző adatforrásokból származó lekérdezések összevonása vagy hozzáfűzése .

A megfelelő kapcsolódási mód kiválasztása

A következő lépés a teljesítmény javítása érdekében a megfelelő csatlakozási mód kiválasztása. Az importálási mód az alapértelmezett, és amikor csak lehetséges, ezt érdemes használni, mivel ez biztosítja a legjobb jelentésteljesítményt.

A közvetlen lekérdezési mód akkor használható, ha a legfrissebb adatokra van szükség, de ügyeljen arra, hogy ennek negatív hatása lehet, és valószínűleg negatív hatással lesz a teljesítményre.

Végül egy élő kapcsolati mód is elérhető, ha olyan adattárházakhoz fér hozzá, mint egy többdimenziós SSAS kockák.

Az átalakulások helye

A következő dolog, amiről beszélni szeretnék, az az, hogy hol kell ezeket az átalakításokat végrehajtani. A legjobb hely ezekhez a forrásban van . Ha nem tudja megtenni őket a forrásban, akkor hajtsa végre a power query segítségével . Ha nem tudja végrehajtani ezeket a power query-ben, akkor tegye meg a DAX- ban .

Végezze el az adatátalakításokat, amennyire csak lehetséges, és amennyire szükséges.

Ha meg tud tenni valamit a power query segítségével, akkor valószínűleg meg kell tennie.

Ismételten, ha ez nem valami dinamikus a jelentési munkamenet kontextusában, kérjük, fontolja meg a teljesítmény lekérdezés lehetőségét a DAX egyszerűsítése és a jelentés teljesítményének növelése érdekében.

Ami a táblázatok formáját illeti, törekedjen arra, hogy a ténytáblázatok hosszúak és vékonyak legyenek, a mérettáblázatokat pedig rövid és széles legyen .

Az elnevezések és adattípusok bevált gyakorlatai

Használjon következetes elnevezési és kis- és nagybetűs sémát, amely könnyen érthető a jelentések felhasználói számára. Szükség szerint nevezze át tábláit és lekérdezéseit, hogy megfeleljen a jelentés elnevezési és kis- és nagybetűs írásmódjának.

Ha szükséges , nevezze át az oszlopokat , hogy megfeleljenek ezeknek az elnevezési és kis- és nagybetűs írásszabványoknak, és szükség szerint nevezze át a teljesítménylekérdezési lépéseket is , hogy a lépések önleíró jellegűek legyenek, mivel előfordulhat, hogy nem Ön a jelentés karbantartója.

A LuckyTemplates kiváló munkát végez a megfelelő adattípusok hozzárendelésében az adatok importálásakor, de néha szükség van bizonyos módosításokra is. Gondoskodnia kell arról, hogy a különböző táblákban lévő oszlopok legyenek összekötő oszlopok két azonos adattípusú tábla között.

Győződjön meg arról, hogy az összes dátum oszlop Dátum, és nem szöveg. Ossza fel a dátum/idő oszlopokat külön Dátumok és külön Idő oszlopokra.

Utolsó lépésként ellenőrizze újra az adattípusokat . Gyakorolja az adattípusok újraellenőrzését, mielőtt megnyomja a Bezárás és az Alkalmazás gombot a teljesítménylekérdezésben, mivel bizonyos átalakítások csendben átválthatják az adattípusokat szöveggé.

Adatok beszerzése egységes részletességgel

Az utolsó dolog, amit meg kell vitatni, a részletesség. Az adatbetöltési és átalakítási folyamat során törekednie kell arra, hogy az adatokat egységes részletességgel szerezze be. Ha a megoldásban különböző részletességeket kombinál, használja a power query-t (lehetőleg) vagy a DAX-ot a referenciaadatok megfelelő kiosztásához.

Például, ha a fő értékesítési adatok napi szinten vannak, akkor a részletesség napi szintű. Ha a költségvetés referenciaadatai havi szinten vannak, a részletesség havi. Íme egy példa, amelyet áttekinthet a részletesség módosításával kapcsolatban.

Következtetés

Remélem, hasznosnak találta ezt az adatbetöltésről és -átalakításról szóló oktatóanyagot. Ha igen, kérjük, ne felejtsen el feliratkozni a LuckyTemplates YouTube-csatornára, hogy minden új tartalomról értesüljön.

Greg