Vinkkejä onnistuneeseen LuckyTemplates-toteutukseen

Jatkamme LuckyTemplates-projektien suunnittelua ja toteutusta käsittelevää sarjaamme. Tällä kertaa keskustelemme tietojoukon suunnittelusta , profiloinnista ja tiloista . Tutustu projektisuunnittelusarjamme ensimmäiseen osaan, jossa käsitellään , ja toisessa osassa, jossa puhutaan .

Sisällysluettelo

• Tietojoukon suunnittelu LuckyTemplates-projektin toteuttamiseen
  • 4 vaihetta tietojoukon suunnitteluun
  • Valitse liiketoimintaprosessi.
    • Vältettävä anti-kuvio LuckyTemplates-toteutuksessa
  • Ilmoita vilja.
  • Tunnista mitat.
  • Määrittele tosiasiat.
• Data Bus Matrix LuckyTemplates -projektin toteuttamiseen
• Tietojen profilointi LuckyTemplates-toteutusta varten
  • SQL Server Integration Services
  • DAX Studio
  • LuckyTemplates-työpöytä
• Tietojoukon suunnittelu LuckyTemplates-toteutukseen
  • Tietojoukkotilan valitseminen
  • Joitakin kysymyksiä, joita tulee kysyä valittaessa tietojoukkotiloja
• Johtopäätös

Tietojoukon suunnittelu LuckyTemplates-projektin toteuttamiseen

Puhutaanpa tietojoukon suunnitteluprosessista ja keskustellaan tietovaraston väylämatriisista , joka on työkalu, joka on ollut käytössä jo jonkin aikaa.

Power BI -tietojoukkojen suunnittelu on samanlaista kuin tietovarastojen suunnittelu. Joten sekä tietojoukoissa että tietovarastoissa on samankaltaisia ​​käsitteitä, kuten fakta- ja dimensiotaulukot, tähtiskeemat, hitaasti muuttuvat mitat, tietotaulukon tarkkuus ja paikalliset tietoiset avaimet taulukoiden välisten suhteiden rakentamiseen.

4 vaihetta tietojoukon suunnitteluun

Tietojoukon suunnitteluprosessissa on neljä vaihetta: valitse liiketoimintaprosessi , määritä tietotaulukkojesi rakeisuus , tunnista mitat ja määritä sitten tosiasiat .

Valitse liiketoimintaprosessi.

Ensimmäisessä vaiheessa kutakin liiketoimintaprosessia edustaa tietotaulukko, jossa on dimensioiden tähtikaavio.

Löytö- tai vaatimusten keräämisprosessin aikana on vaikea keskittyä yksittäiseen liiketoimintaprosessiin, koska käyttäjät analysoivat säännöllisesti useita liiketoimintaprosesseja samanaikaisesti.

Vältettävä anti-kuvio LuckyTemplates-toteutuksessa

Yleinen anti-malli (joka on vastaus toistuvaan ongelmaan, joka on yleensä tehoton ja mahdollisesti haitallinen), jota haluat välttää LuckyTemplates-projekteissa, on tietojoukkojen kehittäminen tiettyjä projekteja tai ryhmiä varten liiketoimintaprosessien sijaan .

Esimerkiksi tietojoukon kehittäminen yksinomaan markkinointitiimille ja toisen tietojoukon kehittäminen myyntiorganisaatiolle. Tämä lähestymistapa johtaa luonnollisesti resurssien hukkaan, koska samat myyntitiedot kysytään ja päivitetään kahdesti molemmissa tietosarjoissa. Nämä kuluttavat myös LuckyTemplates-palvelun tallennusresursseja.

nämä ovat joitakin syitä, miksi haluat käydä läpi hyvän prosessin tietojoukon suunnittelussa. Erillinen lähestymistapa johtaa hallittavuus- ja versionhallintaongelmiin, koska tietojoukot voivat sisältää muunnelmia ja muunnoksia.

Vaikka käyttäjien tai tiimien analyyttiset tarpeet ovatkin LuckyTemplates-projektien prioriteetti, on myös tärkeää suunnitella kestäviä ratkaisuja, jotka voidaan lopulta jakaa tiimien kesken.

Ilmoita vilja.

Faktataulukot kattavat viime kädessä analyyttisiin kyselyihin käytettävissä olevan yksityiskohtaisuuden tason sekä käytettävissä olevan datan määrän.

Joten suurempi rakeisuus tarkoittaa enemmän yksityiskohtia, kun taas pienempi rakeisuus tarkoittaa vähemmän yksityiskohtia. Esimerkki tästä on, kun haluat saada myyntitilausrivin tason tai jos haluat, että projekti sisältää vain kunkin myyntitilauksen yhteenvetotason, etkä kosketa tiettyjä tuotteita, jotka tilattiin osana myyntiä.

Joskus tämä vilja voi vaihdella aikakehyksen mukaan. Olen törmännyt useisiin asiakkaisiin, jotka haluavat erittäin hienojakoisia faktataulukoita kuluvalle vuosineljännekselle, mutta edellisten vuosineljänneksien osalta heidän täytyi vain tietää, mikä vuosineljänneksen kokonaismyynti oli.

Tämän vaiheen aikana haluat määrittää, mitä kukin eri liiketoimintaprosessien rivi edustaa . Esimerkiksi jokainen tietovarastomme myyntitietotaulukon rivi edustaa asiakkaan myyntitilauksen riviä.

Toisaalta myynti- ja marginaalisuunnitelman rivit kootaan yhteen kalenterikuukauden, tuotteen alaluokan ja myyntialueen alueella. joten tässä tapauksessa sinulla on kaksi erilaista tietotaulukkoa ja kaksi erilaista jyvää. jos haluat verrata näitä kahta, mukana tulee jonkin verran tietojen mallintamista.

Tunnista mitat.

Mitat ovat vain luonnollinen sivutuote edellisessä suunnitteluvaiheessa valitusta viljasta.

Joten faktataulukon yksittäisellä näyterivillä tulisi selvästi ilmaista tiettyyn prosessiin liittyvä, kuten yksittäisen projektin ostanut asiakas, tuote tiettynä päivänä ja tiettynä aikana. Pienempiä rakeita edustavilla tietotaulukoilla on pienempi koko.

Esimerkiksi tietotaulukko, joka edustaa ostotilauksen otsikkotasoa, voi tunnistaa toimittajan, mutta ei yksittäisen tuotteen ostoa toimittajalta. joten siinä tapauksessa sinun ei tarvitse sisällyttää tuoteluokkaa tai tuotteen alaluokkaulottuvuutta.

Määrittele tosiasiat.

Faktat edustavat tietotaulukoissa olevia numeerisia sarakkeita. Joten vaikka vaiheen 3 mittasarakkeita käytetään suhteisiin, tosiasiasarakkeita käytetään aggregointilogiikkaa sisältävissä mitoissa, kuten määräsarakkeen summa tai hintasarakkeen keskiarvo.

Data Bus Matrix LuckyTemplates -projektin toteuttamiseen

Tietovaraston väylämatriisi on osa Ralph Kimballin tietovarastoarkkitehtuuria, joka tarjoaa inkrementaalisen ja integroidun lähestymistavan tietovaraston suunnitteluun.

Tässä näkemäsi arkkitehtuuri on Ralph Kimballin The Data Warehouse Toolkitista , 3. painos. Se mahdollistaa skaalautuvat tietomallit, joita useat liiketoimintaryhmät tai toiminnot usein vaativat päästäkseen samoihin liiketoimintaprosesseihin ja ulottuvuuksiin.

Tietovarastoväylämatriisin pitäminen ympärillä on hyödyllistä. Kun täytät sen, tiedät, onko olemassa muita tietojoukkoja, jotka sisältävät samanlaisia ​​Internet-tietotaulukoita ja ulottuvuustaulukoita. Tämä edistää hankkeen uudelleenkäytettävyyttä ja parantaa projektiviestintää.

Joten jokainen rivi heijastaa tärkeää ja toistuvaa liiketoimintaprosessia, kuten pääkirjan kuukausittaista sulkemista. jokainen sarake edustaa liiketoimintakokonaisuutta, joka voi liittyä yhteen tai useampaan liiketoimintaprosessiin, kun taas varjostetut rivit edustavat liiketoimintaprosessia, joka sisältyy projektiin.

Tietojen profilointi LuckyTemplates-toteutusta varten

Kun olet tunnistanut viljan ja nelivaiheinen tietojoukon suunnitteluprosessi on suoritettu, sen jälkeen tulisi välittömästi seurata fakta- ja mittataulukoiden lähdetietojen tekninen analyysi .

Tekniset metatiedot, mukaan lukien tietokantakaaviot ja dataprofiloinnin tulokset, ovat välttämättömiä projektin suunnitteluvaiheessa.

Näitä tietoja käytetään varmistamaan, että Power BI -tietojoukko vastaa suunniteltuja liiketoimintamääritelmiä ja perustuu vakaaseen ja luotettavaan lähteeseen.

Joten kolme on kolme erilaista tapaa kerätä profiilitietoja, joiden pitäisi olla ensimmäinen askel, jonka ihmiset tekevät, kun he tulevat ulos suunnitteluprosessista.

SQL Server Integration Services

Tässä on pari tapaa edetä. Yksi tapa on käyttää tietojen profilointitehtävää SQL Server Integration Services (SSIS) -paketissa.

Tietojen profilointitehtävä vaatii ADO.NET-yhteydet ja voi kirjoittaa tulostensa XML-tiedostoon tai SSIS-muuttujaan.

Tässä esimerkissä ADO.NET-lähdetiedot ovat AdventureWorks-tietovarasto, tietokanta ja SQL-palvelin, ja kohde on XML-tiedosto.

Joten kun tehtävä on suoritettu, XML-tiedosto voidaan lukea SQL-palvelimen dataprofiilien katseluohjelman kautta. Voit nähdä tulokset nollamääränä ja nollalukuprosentteina.

DAX Studio

Toinen tapa tietojen profilointiin on DAX Studion kautta. sinun on todella siirrettävä tiedot LuckyTemplates-tietojoukkoon menemällä DAX Studioon, siirtymällä Lisäasetukset-välilehteen ja suorittamalla .

Se näyttää sinulle samanlaisia ​​tietoja sarakkeiden kardinaalisuudesta, jotta tiedät, mitkä vievät eniten tilaa tietomallistasi. se sisältää kaikki eri tilastot tietojen ympäriltä.

LuckyTemplates-työpöytä

dataprofilointi on saatavilla myös Power queryssä LuckyTemplates-työpöydällä. Jos siirryt Näytä-välilehteen , voit ottaa käyttöön esimerkiksi sarakkeiden laadun, sarakkeiden jakelun ja sarakeprofiilin. Ainakin ensimmäisiltä tuhannelta riviltä näet tiedot, kuten virheet, nollat, keskiarvot ja keskihajonnan.

Tietojoukon suunnittelu LuckyTemplates-toteutukseen

Kun lähdetiedot on profiloitu ja arvioitu nelivaiheisen tietojoukon suunnitteluprosessin vaatimusten mukaisesti, BI-tiimi voi analysoida edelleen tietojoukon toteutusvaihtoehtoja.

Lähes kaikissa power BI -projekteissa, jopa niissä, joissa on merkittäviä investointeja yritysdataan, varastoon, arkkitehtuuriin ja ETL-työkaluihin ja prosesseihin, tarvitaan jonkin verran lisälogiikkaa, integrointia tai muuntamista lähdetietojen laadun ja arvon parantamiseksi.

Tietojoukon suunnitteluvaiheessa määritetään, kuinka tunnistetut datamuunnosongelmat käsitellään tietojoukon tukemiseksi. Lisäksi projektiryhmän on päätettävä, kehitetäänkö tuontitilan tietojoukko , suorakyselytietojoukko vai yhdistetty tietojoukko .

Tietojoukon suunnitteluprosessin selventämiseksi tämä kaavio identifioi tietovaraston ja LuckyTemplates-tietojoukon eri tasot, joissa muunnos ja liiketoimintalogiikka voidaan toteuttaa.

joissakin projekteissa tarvitaan minimaalista muuntamista ja se voidaan helposti sisällyttää power BI -tietojoukkoon. Jos esimerkiksi dimensiotaulukkoon tarvitaan vain muutama lisäsarake ja näiden sarakkeiden laskemiseen on selkeät ohjeet, IT-organisaatio voi päättää toteuttaa nämä muunnokset M tehokyselyissä tietovaraston tarkistamisen sijaan.

Jos BI-tarpeiden ja yrityksen tietovaraston välisen huomattavan kuilun annetaan jatkua, LuckyTemplates-tietojoukot muuttuvat monimutkaisemmiksi rakentaa ja ylläpitää.

Tietojoukkosuunnittelijoiden tulee säännöllisesti analysoida ja viestiä tietojoukkojen vaikutukset, jos ne ovat monimutkaisempia.

Jos tarvittava muunnoslogiikka on kuitenkin monimutkainen tai laaja ja sisältää useita yhteisiä operaatioita, rivisuodattimia ja tietotyyppimuutoksia, IT-organisaatio voi päättää toteuttaa tärkeitä muutoksia tietovarastoon tukeakseen uutta tietojoukkoa ja tulevia BI-projekteja.

Esimerkiksi vaihetaulukkoa ja SQL-säilömenettelyä voidaan tarvita tukemaan, tarkistamaan ja päivittämään prosessia, tai indeksin luominen voi olla tarpeen DirectQuery-tietojoukkojen kyselyn suorituskyvyn parantamiseksi.

Tietojoukkotilan valitseminen

Myöhempi mutta läheisesti tietojoukon suunnitteluun liittyvä vaihe on valita oletustuontitilan, DirectQuery/live-tilan tai yhdistelmätilan välillä.

Joissakin projekteissa tämä on yksinkertainen päätös, jossa vain yksi vaihtoehto on toteutettavissa tai realistinen tunnettujen vaatimusten perusteella, kun taas toiset projektit edellyttävät merkittävää analyysiä kunkin suunnittelun eduista ja haitoista.

Joten jos tietolähde katsotaan olevan hidas tai huonosti varustettu käsittelemään suuria määriä analyyttisiä kyselyjä, tuontitilan tietojoukko on erittäin todennäköisesti suositeltava vaihtoehto.

Samoin, jos tietolähteen lähes reaaliaikainen näkyvyys on välttämätöntä, DirectQuery tai live-tila on ainoa vaihtoehto tämän saavuttamiseksi. DirectQuery- ja live-tilat ovat hyvin samankaltaisia. Molemmat menetelmät eivät tallenna tietoja itse tietojoukkoon, ja molemmat hakevat tietoja suoraan lähdejärjestelmistä käyttäjän toimintojen perusteella. Meillä on nyt DirectQuery for LuckyTemplates -tietojoukot ja DirectQuery for Analysis Services.

Joitakin kysymyksiä, joita tulee kysyä valittaessa tietojoukkotiloja

Tässä on muutamia kysymyksiä, joita sinun tulee kysyä, kun päätät, mitä tilaa käytetään. onko tietojoukollamme yksi lähde? Jos yhtä lähdettä ei ole, et voinut käyttää DirectQuery/Live-lähdettä aiemmin.

Vaikka meillä on nyt yhdistelmätilan tietojoukkoja, se on silti hyvä kysymys kysyä heti alussa, koska jos ei ole yhtä lähdettä, se on joko tuonti tai yhdistelmä.

Jos DirectQuery/Live-lähde on vaihtoehto, pystyykö lähde tukemaan analyyttisiä kyselyitä? Jos työskentelet miljardien tai biljoonien rivien kanssa, tuontitilan tietojoukko ei ehkä ole mahdollinen ja sinun on siirryttävä DirectQuery- tai yhdistelmätilaan varmistaaksesi, että tietojoukko on käyttökelpoinen.

Jos DirectQuery/Live-lähde pystyy tukemaan työkuormaa, onko DirectQuery/Live-yhteys arvokkaampi kuin tuontimallin tarjoama suorituskyky ja joustavuus?

Johtopäätös

Tämä viesti päättää tämän LuckyTemplates-projektien suunnittelusarjan. Nämä ovat mielestäni olennaisia ​​vaiheita jokaisessa työskentelemässäsi Power BI -projektissa. Nämä vaiheet ovat tärkeitä due diligence -tarkastuksen yhteydessä, erityisesti yrityksen liiketoimintatiedon käsittelyssä.

Kaikki parhaat,

Greg Deckler