LuckyTemplates Incremental Refresh: Vad är det och hur man använder det

har utvecklats till ett värdefullt verktyg för företag som arbetar med data, och inkrementell uppdatering är en nyckelfunktion i LuckyTemplates som kan göra ditt jobb enklare genom att dynamiskt uppdatera dina data.

LuckyTemplates inkrementella uppdatering är en process som tillåter användare att uppdatera data progressivt istället för att göra en fullständig datauppdatering varje gång. Det kan avsevärt påskynda datauppdateringen och minska mängden data som måste överföras mellan LuckyTemplates och datakällan.

I den här artikeln kommer vi att visa dig hur du ställer in inkrementell uppdatering i LuckyTemplates som ett proffs, vilket gör ditt arbetsflöde för dataanalys mer flexibelt och låter dig fatta välgrundade beslut i realtid med uppdaterad data till hands.

Nu går vi!

Innehållsförteckning

• Grunderna i LuckyTemplates Incremental Refresh
  • 1. Power Query och Lucky Templates
  • 2. Uppdatera policy
  • 3. Filterlogik
  • 4. Dataflöden
• Hur man ställer in inkrementell uppdatering i LuckyTemplates
  • 1. Hantera parametrar
  • 2. Parametrar för RangeStart och RangeEnd
  • 3. Konfigurera inkrementell uppdateringspolicy i LuckyTemplates
• Hur man arbetar med data och filter när man använder LuckyTemplates Incremental Refresh
  • 1. Datatyper för datum/tid och heltal
  • 2. Surrogatnycklar
  • 3. Anpassat filter
• Hur man förbättrar prestanda och effektivitet när du använder inkrementell uppdatering i LuckyTemplates
  • 1. Partition och frågevikning
  • 2. Stora datauppsättningslagringsformat
  • 3. Optimera resursförbrukningen
• Använda inkrementell uppdatering med olika datakällor
  • 1. SQL-databas
  • 2. Lägen för DirectQuery och import av data
  • 3. Data Warehouse
• 3 avancerade tekniker och tips för att använda inkrementell uppdatering
  • 1. Realtidsdata och uppdatering
  • 2. Konvertera datum/tid till heltal för DataView
• Slutgiltiga tankar

Grunderna i LuckyTemplates Incremental Refresh

LuckyTemplates inkrementella uppdatering är ett mycket praktiskt verktyg, och det är viktigt att förstå dess grunder om du vill utnyttja det för effektiva datauppdateringsprocesser för dina rapporter och instrumentpaneler.

Dessa grunder inkluderar:

1. Power Query och Lucky Templates

Inkrementell uppdatering är en funktion i LuckyTemplates som låter dig ladda endast en ny eller uppdaterad datamodell, vilket förbättrar effektiviteten i din datauppdateringsprocess.

Genom att använda Power Query-datum/tidsparametrar med de reserverade, skiftlägeskänsliga namnen RangeStart och RangeEnd kan du filtrera tabelldata och dynamiskt partitionera den baserat på inkrementellt intervall för att separera data som uppdateras ofta från data som uppdateras mindre ofta.

2. Uppdatera policy

Om du är intresserad av att implementera en inkrementell uppdateringsprocess, följ dessa steg:

• På LuckyTemplates skrivbord väljer du tabellen med anpassade filter tillämpade.

• Högerklicka och välj alternativet Inkrementell uppdatering från snabbmenyn.

• I fönstret Inkrementell uppdatering som öppnas kan du ställa in olika alternativ och definiera policyn.

Policyn du definierar i LuckyTemplates Desktop kommer att tillämpas på LuckyTemplates Service.

3. Filterlogik

Filterlogiken som används vid inkrementell uppdatering är baserad på datumintervall. Du bör överväga följande faktorer när du definierar din filterlogik:

• Var uppmärksam på din datakällas historiska datalagringspolicyer.

• Se till att datakällan stöder frågevikning och inkrementella uppdateringar.

• Bestäm det optimala intervallet för din datatabell för att minimera laddningstiden.

4. Dataflöden

Att använda inkrementell uppdatering med dataflöden kräver några ytterligare överväganden:

• För det första måste ditt dataflöde ligga i en arbetsyta med Premium-kapacitet.

• För det andra krävs Power Apps-planer per app eller per användare för en stegvis uppdatering i Power Apps.

• Slutligen måste dataflödet använda Azure Data Lake Storage som destination.

Inkrementell uppdatering i LuckyTemplates kan spara tid och förbättra effektiviteten i dina datauppdateringar.

Nu när vi har täckt grunderna för LuckyTemplates inkrementella uppdatering, låt oss ta en titt på en detaljerad förklaring av hur man ställer in inkrementell uppdatering i LuckyTemplates i nästa avsnitt. 

Hur man ställer in inkrementell uppdatering i LuckyTemplates

Att ställa in inkrementell uppdatering i LuckyTemplates är en enkel process. Du börjar med att aktivera funktionen i Power Query Editor, anger sedan önskad tabell för uppdatering och definierar slutligen dina lagrings- och uppdateringspolicyer.

Nedan finns en detaljerad guide om hur du ställer in LuckyTemplates inkrementell uppdatering:

1. Hantera parametrar

För att ställa in Incremental Refresh i LuckyTemplates måste du först skapa datum/tidsparametrar med Power Query. Dessa parametrar hjälper dig att definiera dataintervallet som ska uppdateras stegvis.

• Öppna i LuckyTemplates Desktop genom att klicka på Transformera data.

• Navigera till Hantera parametrar och klicka på Ny parameter.

2. Parametrar för RangeStart och RangeEnd

För en lyckad inkrementell uppdatering inom det önskade inkrementella intervallet måste följande två Power Query-datum/tidsparametrar skapas med sina reserverade, skiftlägeskänsliga namn:

• RangeStart : Denna parameter representerar startdatumet för dataintervallet som du vill inkludera i den inkrementella uppdateringen.

  

• RangeEnd : Den här parametern anger slutdatumet för dataintervallet för den inkrementella uppdateringen.

  

Med dessa parametrar skapade kan du nu tillämpa datumintervallfiltret på din datamängd.

3. Konfigurera inkrementell uppdateringspolicy i LuckyTemplates

När du har ställt in parametrarna för både RangeStart och RangeEnd kan du konfigurera policyn för inkrementell uppdatering:

• I LuckyTemplates Desktop högerklickar du på önskad tabell och väljer Incremental Refresh.

• I inställningsfönstret för stegvis uppdatering, aktivera skjutreglaget Uppdatera denna tabell stegvis.

• Ställ in lagringspolicyn genom att definiera:

  • Antalet dagar/år att lagra data i tjänsten LuckyTemplates.

  • En uppdateringspolicy för att fastställa frekvensen för inkrementella uppdateringar.

• När du har konfigurerat policyerna klickar du på Använd alla för att spara dina inställningar.

  

Genom att följa dessa steg kan du ställa in inkrementell uppdatering i LuckyTemplates och optimera uppdateringsprocessen för stora datamängder. Det är så enkelt!

Nu när vi har det täckt tittar vi på hur du kan arbeta med data och filter medan du använder LuckyTemplates inkrementella uppdatering i nästa avsnitt.

Hur man arbetar med data och filter när man använder LuckyTemplates Incremental Refresh

Att veta hur man arbetar med data och filter i LuckyTemplates är användbart om du har en stor datamängd som inte ändras särskilt ofta men du fortfarande vill se den senaste datan regelbundet.

Så här kan du göra det:

1. Datatyper för datum/tid och heltal

När du arbetar med LuckyTemplates inkrementella uppdatering är det viktigt att förstå de olika filtren som fungerar på datum/tid och heltalsdatatypen.

Genom att använda datum/tid-parametrar med de reserverade, skiftlägeskänsliga namnen RangeStart och RangeEnd kan du effektivt filtrera tabelldata baserat på datum.

Till exempel, i en faktatabell som innehåller data sedan 2005, kan du ställa in Incremental Refresh för att endast behålla de senaste tio åren och filtrera bort data före 2010.

När det gäller heltalsdatatyper kan du ställa in anpassade filter för att hantera inkrementell uppdatering. Detta hjälper till att partitionera och separera data som behöver uppdateras ofta från data som inte kräver så mycket uppdatering.

2. Surrogatnycklar

Surrogatnycklar spelar en avgörande roll när du arbetar med inkrementell uppdatering i LuckyTemplates. Dessa unika nycklar hjälper till att hantera och kontrollera dina tabelldata.

När du använder surrogatnycklar under konfigurationsprocessen kan du enkelt hålla reda på eventuella ändringar eller uppdateringar i dina data samtidigt som du säkerställer att den primära nyckeln inte ändras.

Detta möjliggör effektiva och effektiva inkrementella uppdateringar samtidigt som integriteten hos dina data bibehålls.

3. Anpassat filter

Förutom datum/tid och heltalsdatatyper kan du också skapa och använda anpassade filter i inkrementell uppdatering. Anpassade filter hjälper dig att bättre hantera och partitionera data baserat på specifika behov eller kriterier.

Här är en steg-för-steg-guide för att skapa ett anpassat filter:

1. Högerklicka på faktatabellen och fyll i de obligatoriska fälten för inkrementell uppdateringskonfiguration.

2. Skapa två parametrar av datatyp Datum/tid, med namnen RangeStart och RangeEnd. Ställ in ett standardvärde för varje parameter.

3. Implementera den anpassade filterfunktionen i din fråga eller databearbetningsstegen för att filtrera data baserat på dina specifika krav.

Med hjälp av anpassade filter kan du effektivt organisera och hantera data i din LuckyTemplates-lösning, vilket säkerställer optimal prestanda och användbarhet.

Tänk på de inkrementella uppdateringsinställningarna för att undvika att hamna i fällor eller stöta på problem som kan hämma din övergripande upplevelse.

Efter att ha förstått hur man arbetar med data och filter i LuckyTemplates, låt oss fördjupa oss i hur du kan förbättra prestandan och effektiviteten för dina rapporter och instrumentpaneler genom att utnyttja inkrementell uppdatering i nästa avsnitt.

Hur man förbättrar prestanda och effektivitet när du använder inkrementell uppdatering i LuckyTemplates

Det finns olika sätt att förbättra prestanda och effektivitet när du använder inkrementell uppdatering i LuckyTemplates. Vi kommer att ta en titt på några av dem nedan.

1. Partition och frågevikning

När du konfigurerar inkrementell uppdatering i LuckyTemplates, partitioneras din tabell automatiskt. En partition innehåller data som behöver uppdateras ofta, medan den andra partitionen innehåller rader som inte ändras.

Detta förbättrar uppdateringsprocessens prestanda och effektivitet. Frågevikning spelar också en roll i denna process; den kombinerar flera steg i en fråga till en enda databasfråga, vilket minskar mängden bearbetning och tid som krävs för rapportuppdateringar.

2. Stora datauppsättningslagringsformat

LuckyTemplates Premium låter dig arbeta med stora datamängder mer effektivt med lagringsformat som Columnstore och Aggregations.

När du bearbetar stora mängder data, snabbar dessa lagringsformat upp uppdateringsprestanda och gör att du kan interagera med dina rapporter snabbare.

• Columnstore : Detta format förbättrar prestandan för läsintensiva frågor på grund av dess kolumnära lagrings- och komprimeringsmöjligheter.

• Aggregeringar : Denna funktion säkerställer att många frågor kan besvaras av de aggregerade tabellerna, vilket minskar behovet av att komma åt stora faktatabeller och förbättrar därmed prestandan.

Att använda dessa lagringsformat när du arbetar med LuckyTemplates Premium kommer att göra hanteringen av stora LuckyTemplates-datauppsättningar mer effektiv.

3. Optimera resursförbrukningen

Övervakning och optimering av resursförbrukning är avgörande för att upprätthålla prestandan hos ditt LuckyTemplates-system. Några sätt du kan göra detta är:

• Spåra minnesanvändning : Analysera PeakMemory-måttet under uppdatering av datauppsättningar för att förstå det maximala minne som förbrukas. Att övervaka detta värde hjälper dig att identifiera eventuella flaskhalsar och optimera minnesanvändningen.

• Övervaka CPU-användning : Håll ett öga på MashupCPUTime, som anger den totala CPU-tid som förbrukas av Power Query Engine för alla frågor. Denna insikt gör att du kan optimera dina frågor och minimera förbrukningen.

Du kan förbättra ditt LuckyTemplates-systems övergripande prestanda och effektivitet genom att implementera sakerna som diskuterats ovan och utnyttja som partitionering, frågevikning och stora datauppsättningslagringsformat.

Därefter kommer vi att undersöka hur man konfigurerar inkrementell uppdatering med olika källor.

Använda inkrementell uppdatering med olika datakällor

Du kan använda LuckyTemplates Incremental Refresh med olika datakällor, inklusive , DirectQuery och Import Data Modes och Data Warehouses.

Här är några saker att tänka på när du väljer en datakälla att importera till LuckyTemplates:

1. SQL-databas

När du arbetar med SQL-databaser som din datakälla, kom ihåg att:

• Skapa Power Query datum/tid parametrar med reserverade skiftlägeskänsliga namn: RangeStart och RangeEnd.

• Använd filter på data med dessa parametrar för att separera data som uppdateras ofta och mindre ofta.

• Definiera en inkrementell uppdateringspolicy i LuckyTemplates Desktop innan du publicerar till LuckyTemplates-tjänsten.

Tänk på att inkrementell uppdatering endast stöds i LuckyTemplates Pro, LuckyTemplates Embedded datauppsättningar och Premium per-användare planmiljöer.

2. Lägen för DirectQuery och import av data

LuckyTemplates erbjuder två dataåtkomstlägen: DirectQuery och Importera data .

Att använda inkrementell uppdatering med dessa lägen innebär följande:

• DirectQuery : I Direct Query-läget frågar du data från datakällan i realtid, vilket innebär att ingen data importeras till din LuckyTemplates-datauppsättning. Du kan bara använda inkrementell uppdatering med Direct Query om du har en LuckyTemplates Premium, LuckyTemplates Embedded datauppsättning eller Premium per användarplan.

• Importera data : I det här läget importerar du data till din LuckyTemplates-datauppsättning och du kan sedan arbeta med den importerade datan. För att använda inkrementell uppdatering med läget Importera data, konfigurera RangeStart och RangeEnd parametrar, tillämpa filter och definiera en inkrementell uppdateringspolicy.

3. Data Warehouse

Att använda inkrementell uppdatering med datalager liknar att använda SQL-databaser. Följ samma steg för att skapa RangeStart- och RangeEnd-parametrar, tillämpa filter på separata data baserat på uppdateringsfrekvens och definiera en inkrementell uppdateringspolicy innan du publicerar din datauppsättning till LuckyTemplates-tjänsten.

Se till att du förstår din LuckyTemplates-miljös dataåtkomstlägen och begränsningar för att använda inkrementell uppdatering korrekt med olika datakällor.

Korrekt konfigurerade inkrementella uppdateringar kan förbättra datalagringseffektiviteten och säkerställa att den mest uppdaterade informationen är tillgänglig för dina LuckyTemplates-rapporter.

Eftersom vi har gått igenom hur man använder inkrementell uppdatering med olika datakällor, kommer vi att titta på de avancerade tipsen och tricken när du använder LuckyTemplates inkrementella uppdatering i nästa avsnitt.

Dessa tips och tricks hjälper dig att få ut det mesta av din data och se till att du använder inkrementell uppdatering korrekt.

3 avancerade tekniker och tips för att använda inkrementell uppdatering

Det finns avancerade tips och tekniker listade nedan som du framgångsrikt kan distribuera och optimera LuckyTemplates inkrementella uppdatering i din datamodell:

1. Realtidsdata och uppdatering

När du arbetar med LuckyTemplates är det viktigt att konfigurera inkrementell uppdatering och realtidsdata effektivt för optimal prestanda.

Inkrementell uppdatering gör att du specifikt kan uppdatera nya eller ändrade data istället för hela datamängden. När du paras ihop med realtidsdata kan du effektivt uppdatera din rapport med den senaste informationen.

För att utnyttja sådana möjligheter, konfigurera antingen genom LuckyTemplates Desktop eller verktyg som Tabular Model Scripting Language (TMSL) eller Tabular Object Model (TOM) via XMLA-slutpunkten.

2. Konvertera datum/tid till heltal för DataView

Konvertering av datum/tid-värden till heltal gör det lättare att arbeta med data och optimera uppdateringseffektiviteten. Här är stegen för att konvertera datum/tid till heltal i Power Query:

1. Öppna Power Query Editor i LuckyTemplates.

2. Välj kolumnen som innehåller datum/tid-värdena.

3. Gå till fliken Transform och klicka på Datatyp.

4. Välj Helnummer som ny datatyp.

Denna omvandling främjar bättre prestanda genom att minska belastningen på databearbetning under inkrementella uppdateringar.

3. Uppdatera endast kompletta dagar

Det är avgörande att endast uppdatera hela dagar när du konfigurerar inkrementella uppdateringspolicyer, eftersom det förhindrar onödig databehandling och minskar laddningstider för rapporter.

För att uppnå detta, följ dessa steg:

1. I LuckyTemplates Desktop, högerklicka på tabellen och välj Inkrementell uppdatering.

2. I fönstret Incremental Refresh definierar du ett filter, till exempel Date_IS_AFTER = Date.IsAfterOrEqual([Date], DateTimeZone.SwitchZone(DateTime.LocalNow(), -TimeZoneOffset))

3. Konfigurera parametrarna ' rangeStart ' och ' rangeEnd ' för att endast använda hela dagar. Ange till exempel " rangeEnd " till föregående dags datum.

Genom att tillämpa dessa avancerade tekniker och tips kan du säkerställa effektiv datauppsättningshantering, rapportgenerering och förbättrad prestanda i ditt LuckyTemplates-arbetsflöde.

Slutgiltiga tankar

Och där har vi det! Vi har avslöjat mysteriet med LuckyTemplates Incremental Refresh. Det är inte bara någon teknisk jargong utan en spelväxlare som kan göra det enkelt att hantera enorma datauppsättningar samtidigt som du sparar seriös tid och resurser.

Som LuckyTemplates-användare kan du dra stor nytta av funktionen Incremental Refresh. Denna avancerade funktion i Microsofts populära Business Intelligence-verktyg sparar resurser och tid genom att endast uppdatera nya eller ändrade data i dina datauppsättningar.

Så fortsätt, ge det en snurr och upplev hur det ger effektivitet till dina datauppdateringar. Kom ihåg att i datavärlden är det att hålla sig uppdaterad att ligga i framkant!

Om du vill lära dig mer om LuckyTemplates kan du titta på videon nedan: