In microsoft Fabric heb ik een dataflow gen2 ingericht zodat er incrementeel geladen wordt. Hij kijkt naar de max ModifiedDate uit het Data Warehouse en geeft deze vervolgens mee als filter. Ik zie in invantive monitoring dat de filter goed doorkomt, maar de verversing duurt als nog heel erg lang.
Er worden ook heel veel API calls gemaakt. Hebben jullie een idee wat hier mis gaat en hoe dit te optimaliseren valt?
De *Incremental-tabellen worden eerst volledig opgehaald en daarna bijgewerkt met de wijzigingen in Exact Online. Het doorgeven van een filter zal er alsnog voor zorgen dat eerst de hele cache opgebouwd wordt zodat de Incremental-tabel vervolgens bijgewerkt kan worden. Dit zal doorgaans eenmalig gebeuren. Daarna is de tabel performanter.
Houd er rekening mee dat het zelf incrementeel laden op basis van Modified tot een incorrecte kopie kan leiden, doordat bijvoorbeeld verwijderde rijen niet meegenomen worden.
Is het dan beter om de normale tabellen te gebruiken in plaats van de incrementele tabellen?
Ik ben me bewust van het issue met de verwijderde rijen. Hier gaan we nog een oplossing voor bedenken. In principe worden er niet vaak records verwijderd in Exact, dus we zouden een keer per week een full load kunnen doen o.b.v. incrementele tabellen.
Het is beter de Incremental-tabellen te gebruiken. Ook al hebben deze tabellen een langere aanlooptijd, uiteindelijk zullen toch alle rijen opgehaald worden. Deze consistent gebruiken zal er voor zorgen dat op de lange termijn minder API-calls nodig zijn.
