In Microsoft Fabric heb ik een dataflow gen2 ingericht zodat er incrementeel geladen wordt. Hij kijkt naar de max ModifiedDate uit het Data Warehouse en geeft deze vervolgens mee als filter. Ik zie in invantive monitoring dat de filter goed doorkomt, maar de verversing duurt als nog heel erg lang.
Er worden ook heel veel API calls gemaakt. Hebben jullie een idee wat hier mis gaat en hoe dit te optimaliseren valt?
De *Incremental-tabellen worden eerst volledig opgehaald en daarna bijgewerkt met de wijzigingen in Exact Online. Het doorgeven van een filter zal er alsnog voor zorgen dat eerst de hele cache opgebouwd wordt zodat de Incremental-tabel vervolgens bijgewerkt kan worden. Dit zal doorgaans eenmalig gebeuren. Daarna is de tabel performanter.
Houd er rekening mee dat het zelf incrementeel laden op basis van Modified tot een incorrecte kopie kan leiden, doordat bijvoorbeeld verwijderde rijen niet meegenomen worden.
Is het dan beter om de normale tabellen te gebruiken in plaats van de incrementele tabellen?
Ik ben me bewust van het issue met de verwijderde rijen. Hier gaan we nog een oplossing voor bedenken. In principe worden er niet vaak records verwijderd in Exact, dus we zouden een keer per week een full load kunnen doen o.b.v. incrementele tabellen.
Het is beter de Incremental-tabellen te gebruiken. Ook al hebben deze tabellen een langere aanlooptijd, uiteindelijk zullen toch alle rijen opgehaald worden. Deze consistent gebruiken zal er voor zorgen dat op de lange termijn minder API-calls nodig zijn.
Deze vraag is automatisch gesloten na 1 week inactiviteit. Het laatste gegeven antwoord is gemarkeerd als oplossing.
Gelieve een nieuwe vraag te stellen via een apart topic als het probleem opnieuw optreedt. Gelieve in de nieuwe vraag een link naar dit topic op te nemen door de URL er van in de tekst te plakken.
Dit topic is 3 dagen na het laatste antwoord automatisch gesloten. Nieuwe antwoorden zijn niet meer toegestaan.
