LuckyTemplates Incremental Refresh: Hva er det og hvordan du bruker det

har utviklet seg til et verdifullt verktøy for bedrifter som jobber med data, og inkrementell oppdatering er en nøkkelfunksjon i LuckyTemplates som kan gjøre jobben din enklere ved å dynamisk oppdatere dataene dine.

LuckyTemplates inkrementell oppdatering er en prosess som lar brukere oppdatere data gradvis i stedet for å gjøre en fullstendig dataoppdatering hver gang. Det kan øke hastigheten på dataoppdateringen betydelig og redusere mengden data som må overføres mellom LuckyTemplates og datakilden.

I denne artikkelen viser vi deg hvordan du setter opp inkrementell oppdatering i LuckyTemplates som en proff, noe som gjør dataanalysearbeidsflyten mer smidig og lar deg ta informerte beslutninger i sanntid med oppdaterte data for hånden.

La oss gå!

Innholdsfortegnelse

• Grunnleggende om LuckyTemplates inkrementell oppdatering
  • 1. Power Query og LuckyTemplates
  • 2. Oppdater policy
  • 3. Filterlogikk
  • 4. Dataflyter
• Hvordan sette opp inkrementell oppdatering i LuckyTemplates
  • 1. Administrer parametere
  • 2. Parametre for RangeStart og RangeEnd
  • 3. Konfigurere inkrementell oppdateringspolicy i LuckyTemplates
• Hvordan jobbe med data og filtre mens du bruker LuckyTemplates inkrementell oppdatering
  • 1. Datatyper for dato/klokkeslett og heltall
  • 2. Surrogatnøkler
  • 3. Egendefinert filter
• Hvordan forbedre ytelsen og effektiviteten mens du bruker inkrementell oppdatering i LuckyTemplates
  • 1. Partisjons- og spørringsfolding
  • 2. Store datasettlagringsformater
  • 3. Optimalisering av ressursforbruk
• Bruke inkrementell oppdatering med forskjellige datakilder
  • 1. SQL-database
  • 2. Modi for DirectQuery og import av data
  • 3. Datavarehus
• 3 avanserte teknikker og tips for bruk av inkrementell oppdatering
  • 1. Sanntidsdata og oppdatering
  • 2. Konverter dato/klokkeslett til heltall for DataView
• Siste tanker

Grunnleggende om LuckyTemplates inkrementell oppdatering

LuckyTemplates inkrementell oppdatering er et veldig hendig verktøy, og det er viktig å forstå dets grunnleggende hvis du ønsker å utnytte det til effektive dataoppdateringsprosesser for rapportene og dashbordene dine.

Disse grunnleggende inkluderer:

1. Power Query og LuckyTemplates

Inkrementell oppdatering er en funksjon i LuckyTemplates som lar deg laste bare en ny eller oppdatert datamodell, noe som forbedrer effektiviteten til dataoppdateringsprosessen.

Ved å bruke Power Query-dato/tidsparametere med de reserverte, store og små bokstavsensitive navnene RangeStart og RangeEnd, kan du filtrere tabelldata og dynamisk partisjonere dem basert på inkrementell rekkevidde for å skille ofte oppdaterte data fra data som oppdateres mindre ofte.

2. Oppdater policy

Hvis du er interessert i å implementere en inkrementell oppdateringsprosess, følg disse trinnene:

• På LuckyTemplates-skrivebordet velger du tabellen med tilpassede filtre brukt.

• Høyreklikk og velg alternativet Inkrementell oppdatering fra hurtigmenyen.

• I vinduet Inkrementell oppdatering som åpnes, kan du angi ulike alternativer og definere policyen.

Policyen du definerer i LuckyTemplates-skrivebordet vil bli brukt på LuckyTemplates-tjenesten.

3. Filterlogikk

Filterlogikken som brukes i inkrementell oppdatering er basert på datoperioder. Du bør vurdere følgende faktorer når du definerer filterlogikken din:

• Vær oppmerksom på datakildens retningslinjer for oppbevaring av historiske data.

• Sørg for at datakilden støtter søkefolding og inkrementelle oppdateringer.

• Bestem det optimale området for datatabellen for å minimere lastetiden.

4. Dataflyter

Bruk av inkrementell oppdatering med dataflyter krever noen ekstra hensyn:

• For det første må dataflyten din ligge i et arbeidsområde med Premium-kapasitet.

• For det andre kreves Power Apps per-app eller per-bruker-planer for en inkrementell oppdatering i Power Apps.

• Til slutt må dataflyten bruke Azure Data Lake Storage som destinasjon.

Inkrementell oppdatering i LuckyTemplates kan spare deg for tid og forbedre effektiviteten til dataoppdateringene dine.

Nå som vi har dekket det grunnleggende av LuckyTemplates inkrementell oppdatering, la oss ta en titt på en detaljert forklaring på hvordan du setter opp inkrementell oppdatering i LuckyTemplates i neste seksjon. 

Hvordan sette opp inkrementell oppdatering i LuckyTemplates

Å sette opp inkrementell oppdatering i LuckyTemplates er en enkel prosess. Du starter med å aktivere funksjonen i Power Query Editor, deretter spesifisere ønsket tabell for oppdatering, og til slutt definere lagrings- og oppdateringspolicyer.

Nedenfor er en detaljert veiledning for hvordan du setter opp LuckyTemplates inkrementell oppdatering:

1. Administrer parametere

For å sette opp Incremental Refresh i LuckyTemplates, må du først opprette dato/klokkeslett-parametere ved hjelp av Power Query. Disse parameterne vil hjelpe deg med å definere rekkevidden av data som skal oppdateres trinnvis.

• Åpne i LuckyTemplates Desktop ved å klikke på Transformer data.

• Naviger til Administrer parametere og klikk på Ny parameter.

2. Parametre for RangeStart og RangeEnd

For en vellykket inkrementell oppdatering i ønsket inkrementell rekkevidde, må følgende to Power Query-dato-/tidsparametere opprettes med deres reserverte navn som skiller mellom store og små bokstaver:

• RangeStart : Denne parameteren representerer startdatoen for dataområdet du vil inkludere i den inkrementelle oppdateringen.

  

• RangeEnd : Denne parameteren angir sluttdatoen for dataområdet for den inkrementelle oppdateringen.

  

Når disse parameterne er opprettet, kan du nå bruke datoperiodefilteret på datasettet ditt.

3. Konfigurere inkrementell oppdateringspolicy i LuckyTemplates

Når du har konfigurert både RangeStart- og RangeEnd-parametere, kan du konfigurere policyen for inkrementell oppdatering:

• I LuckyTemplates Desktop, høyreklikk på ønsket tabell og velg Incremental Refresh.

• I vinduet Inkrementell oppdateringsinnstillinger slår du på glidebryteren Oppdater denne tabellen trinnvis.

• Konfigurer lagringspolicyen ved å definere:

  • Antall dager/år for å lagre data i LuckyTemplates-tjenesten.

  • En oppdateringspolicy for å bestemme hyppigheten av inkrementelle oppdateringer.

• Etter å ha konfigurert retningslinjene, klikk på Bruk alle for å lagre innstillingene.

  

Ved å følge disse trinnene kan du sette opp inkrementell oppdatering i LuckyTemplates og optimalisere oppdateringsprosessen for store datasett. Så enkelt er det!

Nå som vi har dekket det, ser vi på hvordan du kan jobbe med data og filtre mens du bruker LuckyTemplates inkrementell oppdatering i neste seksjon.

Hvordan jobbe med data og filtre mens du bruker LuckyTemplates inkrementell oppdatering

Å vite hvordan du jobber med data og filtre i LuckyTemplates er nyttig hvis du har et stort datasett som ikke endres veldig ofte, men du fortsatt vil se de siste dataene regelmessig.

Slik kan du gjøre det:

1. Datatyper for dato/klokkeslett og heltall

Når du arbeider med LuckyTemplates sin inkrementelle oppdatering, er det viktig å forstå de forskjellige filtrene som fungerer på dato/klokkeslett og heltallsdatatypen.

Ved å bruke dato/klokkeslett-parametere med de reserverte, store og små bokstaver-sensitive navnene RangeStart og RangeEnd, kan du effektivt filtrere tabelldata basert på datoer.

For eksempel, i en faktatabell som inneholder data siden 2005, kan du konfigurere inkrementell oppdatering for å beholde bare de siste ti årene , og filtrere ut data før 2010.

Når det gjelder heltallsdatatyper, kan du sette opp egendefinerte filtre for å administrere inkrementell oppdatering. Dette hjelper til med å partisjonere og skille dataene som trenger hyppig oppdatering fra dataene som ikke krever så mye oppdatering.

2. Surrogatnøkler

Surrogatnøkler spiller en avgjørende rolle når du arbeider med inkrementell oppdatering i LuckyTemplates. Disse unike nøklene hjelper deg med å administrere og kontrollere tabelldataene dine.

Når du bruker surrogatnøkler under konfigurasjonsprosessen, kan du enkelt holde styr på eventuelle endringer eller oppdateringer i dataene dine samtidig som du sikrer at primærnøkkelen ikke endres.

Dette muliggjør effektive og effektive trinnvise oppdateringer samtidig som integriteten til dataene dine opprettholdes.

3. Egendefinert filter

Foruten dato/klokkeslett og heltallsdatatyper, kan du også opprette og bruke tilpassede filtre i trinnvis oppdatering. Egendefinerte filtre hjelper deg bedre å administrere og partisjonere dataene basert på spesifikke behov eller kriterier.

Her er en trinnvis veiledning for å lage et tilpasset filter:

1. Høyreklikk på faktatabellen og fyll ut de nødvendige feltene for inkrementell oppdateringskonfigurasjon.

2. Opprett to parametere for Dato/Tid-datatypen, med navnene RangeStart og RangeEnd. Angi en standardverdi for hver parameter.

3. Implementer den tilpassede filterfunksjonen i spørringen eller databehandlingstrinnene for å filtrere dataene basert på dine spesifikke krav.

Ved å bruke tilpassede filtre kan du effektivt organisere og administrere dataene i LuckyTemplates-løsningen din, og sikre optimal ytelse og brukervennlighet.

Vær oppmerksom på de inkrementelle oppdateringsinnstillingene for å unngå å falle i feller eller møte problemer som kan hemme din generelle opplevelse.

Etter å ha forstått hvordan du arbeider med data og filtre i LuckyTemplates, la oss fordype deg i hvordan du kan forbedre ytelsen og effektiviteten til rapportene og dashbordene dine ved å utnytte inkrementell oppdatering i neste avsnitt.

Hvordan forbedre ytelsen og effektiviteten mens du bruker inkrementell oppdatering i LuckyTemplates

Det er forskjellige måter å forbedre ytelsen og effektiviteten på mens du bruker inkrementell oppdatering i LuckyTemplates. Vi skal ta en titt på noen av dem nedenfor.

1. Partisjons- og spørringsfolding

Når du konfigurerer inkrementell oppdatering i LuckyTemplates, blir tabellen automatisk partisjonert. En partisjon inneholder data som må oppdateres ofte, mens den andre partisjonen inneholder rader som ikke endres.

Dette forbedrer ytelsen og effektiviteten til oppdateringsprosessen. Spørringsfolding spiller også en rolle i denne prosessen; den kombinerer flere trinn av en spørring til en enkelt databasespørring, noe som reduserer mengden behandling og tid som kreves for rapportoppdateringer.

2. Store datasettlagringsformater

LuckyTemplates Premium lar deg jobbe med store datasett mer effektivt ved å bruke lagringsformater som Columnstore og Aggregations.

Når du behandler store datamengder, øker disse lagringsformatene oppdateringsytelsen og lar deg samhandle med rapportene dine raskere.

• Columnstore : Dette formatet forbedrer ytelsen til leseintensive spørringer på grunn av kolonnelagrings- og komprimeringsmulighetene.

• Aggregasjoner : Denne funksjonen sikrer at mange spørsmål kan besvares av de aggregerte tabellene, noe som reduserer behovet for å få tilgang til store faktatabeller og forbedrer dermed ytelsen.

Å bruke disse lagringsformatene mens du arbeider med LuckyTemplates Premium vil gjøre administrasjonen av store LuckyTemplates-datasett mer effektiv.

3. Optimalisering av ressursforbruk

Overvåking og optimalisering av ressursforbruk er avgjørende for å opprettholde ytelsen til LuckyTemplates-systemet. Noen måter du kan gjøre dette på er:

• Spor minnebruk : Analyser PeakMemory-beregningen under oppdatering av datasett for å forstå det maksimale minnet som forbrukes. Overvåking av denne verdien hjelper deg med å identifisere eventuelle flaskehalser og optimalisere minnebruken.

• Overvåk CPU-bruk : Hold et øye med MashupCPUTime, som indikerer den totale CPU-tiden som forbrukes av Power Query Engine for alle spørringer. Denne innsikten lar deg optimalisere søkene dine og minimere forbruket.

Du kan forbedre LuckyTemplates-systemets generelle ytelse og effektivitet ved å implementere tingene diskutert ovenfor og utnytte som partisjonering, folding av spørringer og store datasettlagringsformater.

Deretter skal vi undersøke hvordan du konfigurerer inkrementell oppdatering ved hjelp av forskjellige kilder.

Bruke inkrementell oppdatering med forskjellige datakilder

Du kan bruke LuckyTemplates Incremental Refresh med forskjellige datakilder, inkludert , DirectQuery og importdatamoduser og datavarehus.

Her er noen ting du bør vurdere når du velger en datakilde som skal importeres til LuckyTemplates:

1. SQL-database

Når du arbeider med SQL-databaser som datakilde, må du huske å:

• Opprett Power Query-dato-/klokkeslettparametere med reserverte navn som skiller mellom store og små bokstaver: RangeStart og RangeEnd.

• Bruk filtre på dataene ved å bruke disse parameterne for å skille ofte og sjeldnere oppdaterte data.

• Definer en inkrementell oppdateringspolicy i LuckyTemplates Desktop før du publiserer til LuckyTemplates-tjenesten.

Husk at inkrementell oppdatering kun støttes på LuckyTemplates Pro, LuckyTemplates Embedded datasett og Premium per-bruker planmiljøer.

2. Modi for DirectQuery og import av data

LuckyTemplates tilbyr to datatilgangsmodi: DirectQuery og Import Data .

Bruk av inkrementell oppdatering med disse modusene innebærer følgende:

• DirectQuery : I Direct Query-modus spør du etter data fra datakilden i sanntid, noe som betyr at ingen data importeres til LuckyTemplates-datasettet ditt. Du kan bare bruke inkrementell oppdatering med direkte søk hvis du har et LuckyTemplates Premium, LuckyTemplates Embedded datasett eller Premium per brukerplan.

• Importer data : I denne modusen importerer du data til LuckyTemplates-datasettet ditt, og du kan deretter jobbe med de importerte dataene. For å bruke inkrementell oppdatering med importdatamodus, konfigurer RangeStart- og RangeEnd-parametere, bruk filtre og definere en inkrementell oppdateringspolicy.

3. Datavarehus

Å bruke inkrementell oppdatering med datavarehus ligner på å bruke SQL-databaser. Følg de samme trinnene for å opprette RangeStart- og RangeEnd-parametere, bruk filtre for å skille data basert på oppdateringsfrekvens, og definer en inkrementell oppdateringspolicy før du publiserer datasettet til LuckyTemplates-tjenesten.

Sørg for at du forstår LuckyTemplates-miljøets datatilgangsmoduser og begrensninger for å bruke inkrementell oppdatering på riktig måte med forskjellige datakilder.

Riktig konfigurerte inkrementelle oppdateringer kan forbedre datalagringseffektiviteten og sikre at den mest oppdaterte informasjonen er tilgjengelig for LuckyTemplates-rapportene dine.

Siden vi har gått over hvordan du bruker inkrementell oppdatering med forskjellige datakilder, vil vi se på de avanserte tipsene og triksene når du bruker LuckyTemplates inkrementell oppdatering i neste avsnitt.

Disse tipsene og triksene vil hjelpe deg å få mest mulig ut av dataene dine og sørge for at du bruker inkrementell oppdatering riktig.

3 avanserte teknikker og tips for bruk av inkrementell oppdatering

Det er avanserte tips og teknikker oppført nedenfor som du kan implementere og optimalisere LuckyTemplates inkrementelle oppdatering i datamodellen din:

1. Sanntidsdata og oppdatering

Når du arbeider med LuckyTemplates, er det viktig å konfigurere inkrementell oppdatering og sanntidsdata effektivt for optimal ytelse.

Inkrementell oppdatering lar deg spesifikt oppdatere nye eller modifiserte data i stedet for hele datasettet. Når du kobler sammen med sanntidsdata, kan du effektivt oppdatere rapporten med den nyeste informasjonen.

For å utnytte slike evner, konfigurer enten gjennom LuckyTemplates Desktop eller verktøy som Tabular Model Scripting Language (TMSL) eller Tabular Object Model (TOM) via XMLA-endepunktet.

2. Konverter dato/klokkeslett til heltall for DataView

Konvertering av dato/klokkeslett-verdier til heltall gjør det enklere å jobbe med dataene og optimalisere oppdateringseffektiviteten. Her er trinnene for å konvertere dato/klokkeslett til heltall i Power Query:

1. Åpne Power Query Editor i LuckyTemplates.

2. Velg kolonnen som inneholder dato/klokkeslett-verdiene.

3. Gå til Transform-fanen og klikk på Datatype.

4. Velg Heltall som ny datatype.

Denne konverteringen fremmer bedre ytelse ved å redusere belastningen på databehandling under inkrementelle oppdateringer.

3. Bare oppdater komplette dager

Det er avgjørende bare å oppdatere hele dager når du konfigurerer inkrementelle oppdateringspolicyer, siden det forhindrer unødvendig databehandling og reduserer innlastingstiden for rapporter.

For å oppnå dette, følg disse trinnene:

1. I LuckyTemplates Desktop, høyreklikk tabellen og velg Inkrementell oppdatering.

2. I vinduet Inkrementell oppdatering definerer du et filter, for eksempel Date_IS_AFTER = Date.IsAfterOrEqual([Date], DateTimeZone.SwitchZone(DateTime.LocalNow(), -TimeZoneOffset))

3. Konfigurer parameterne ' rangeStart ' og ' rangeEnd ' til å bruke bare hele dager. Sett for eksempel " rangeEnd " til forrige dags dato.

Ved å bruke disse avanserte teknikkene og tipsene kan du sikre effektiv datasettadministrasjon, rapportgenerering og forbedret ytelse i LuckyTemplates-arbeidsflyten.

Siste tanker

Og der har vi det! Vi har avklart mysteriet med LuckyTemplates Incremental Refresh. Det er ikke bare en teknisk sjargong, men en spillskifter som kan gjøre håndtering av enorme datasett til en lek samtidig som du sparer seriøs tid og ressurser.

Som LuckyTemplates-bruker kan du dra betydelig nytte av funksjonen Incremental Refresh. Denne avanserte funksjonen i Microsofts populære Business Intelligence-verktøy sparer ressurser og tid ved kun å oppdatere nye eller endrede data i datasettene dine.

Så fortsett, gi det en snurr, og opplev hvordan det gir effektivitet til dataoppdateringene dine. Husk at i en verden av data er det å holde seg oppdatert å ligge i forkant!

Hvis du vil lære mer om LuckyTemplates, kan du se videoen nedenfor: