Dans Microsoft Fabric, j’ai configuré un dataflow gen2 afin d’effectuer un chargement incrémentiel. Il vérifie la MaxModifiedDate à partir du Data Warehouse, puis la transmet en tant que filtre. Je constate dans invantive monitoring que le filtre est correctement transmis, mais l’actualisation prend quand même énormément de temps.
Il y a aussi énormément d’appels API qui sont effectués. Avez-vous une idée de ce qui ne va pas ici et comment optimiser cela ?
Les tables *Incremental sont d’abord entièrement récupérées, puis mises à jour avec les modifications dans Exact Online. Si l’on transmet un filtre, cela entraînera tout de même la construction complète du cache au préalable, afin que la table Incremental puisse ensuite être mise à jour. Cela se produira généralement une seule fois. Par la suite, la table sera plus performante.
Gardez à l’esprit que le chargement incrémentiel effectué soi-même sur la base de Modified peut entraîner une copie incorrecte, par exemple parce que les lignes supprimées ne sont pas prises en compte.
Est-il alors préférable d’utiliser les tables normales plutôt que les tables incrémentielles ?
Je suis conscient du problème des lignes supprimées. Nous allons encore trouver une solution pour cela. En principe, les enregistrements ne sont pas souvent supprimés dans Exact, donc nous pourrions faire un chargement complet une fois par semaine sur la base des tables incrémentielles.
Il est préférable d’utiliser les tables Incremental. Même si ces tables ont un temps de démarrage plus long, toutes les lignes finiront tout de même par être récupérées. Les utiliser de manière cohérente permettra de réduire le nombre d’appels API nécessaires sur le long terme.
Cette question a été automatiquement clôturée après 1 semaine d’inactivité. La dernière réponse donnée a été marquée comme solution.
Si le problème se reproduit, merci de poser une nouvelle question via un sujet distinct. Merci d’inclure dans la nouvelle question un lien vers ce sujet en collant son URL dans le texte.
