Exact Online atteint la limite quotidienne depuis Invantive Data Hub 26.0.X

Depuis la version 26.0.X de Data Hub, nous atteignons la limite quotidienne des appels API pour un dossier Exact Online. Cela ne se produisait pas auparavant.

Nous analysons actuellement où se situe le problème. Dans le programme de renouvellement, l’endpoint SalesOrderLines était encore inclus avec plus de 312k lignes, ce qui constituait une cause logique de consommation élevée. Celui-ci a été temporairement retiré du renouvellement.

Cependant, nous atteignons à nouveau la limite. Voici un aperçu des endpoints et une estimation brute du nombre d’appels attendus. Cela devrait aboutir à un nombre estimé d’appels d’environ 3,4k (en tenant compte qu’il pourrait y avoir d’autres appels autour des tokens de rafraîchissement, etc.).

Cela devrait nous permettre de rester en dessous de la limite estimée de 5k par jour. Voyons-nous quelque chose que nous aurions négligé et qui pourrait faire que le nombre d’appels soit bien plus élevé que prévu ?

tableau tpn_count_rows Résultats par appel ? Appels API nécessaires ?
ExactOnlineREST.PurchaseOrder.GoodsReceiptLines 20182 60 336
ExactOnlineREST.PurchaseOrder.GoodsReceipts 1750 60 29
ExactOnlineREST.Purchase.PurchaseInvoices 1038 60 17
ExactOnlineREST.Purchase.PurchaseInvoiceLines 20053 60 334
ExactOnlineREST.Logistics.ItemAssortments 10 60 0
ExactOnlineREST.Logistics.ItemAssortmentProperties 558 60 9
ExactOnlineREST.Financial.Journals 25 60 0
ExactOnlineREST.Financial.FinancialPeriods 72 60 1
ExactOnlineREST.Incremental.GLAccountsIncremental 830 1000 1
ExactOnlineREST.Incremental.TransactionLinesIncremental 492070 1000 492
ExactOnlineXML.XML.Items 8588 60 143
ExactOnlineREST.Logistics.ItemsBulk 8588 1000 9
ExactOnlineXML.XML.AROutstandingItems 427 60 7
ExactOnlineREST.Subscription.SubscriptionLineTypes 2 60 0
ExactOnlineREST.Subscription.SubscriptionLines 2 60 0
ExactOnlineREST.Subscription.Subscriptions 2 60 0
ExactOnlineREST.Subscription.SubscriptionTypes 4 60 0
ExactOnlineREST.HRM.Costunits 43 60 1
ExactOnlineREST.HRM.Costcenters 4 60 0
ExactOnlineREST.SalesInvoice.SalesInvoicesBulk 22474 1000 22
ExactOnlineREST.SalesInvoice.SalesInvoiceLinesBulk 326384 1000 326
ExactOnlineREST.SalesOrder.GoodsDeliveryLinesBulk 298456 1000 298
ExactOnlineREST.SalesOrder.GoodsDeliveriesBulk 35471 1000 35
ExactOnlineREST.SalesOrder.SalesOrders 27720 60 462
ExactOnlineREST.SalesOrder.SalesOrdersBulk 27720 1000 28
ExactOnlineREST.SalesOrder.SalesOrderLinesBulk 312594 1000 313
ExactOnlineREST.CRM.AccountClassifications 37 60 1
ExactOnlineREST.CRM.AddressesBulk 11560 1000 12
ExactOnlineREST.CRM.ContactsBulk 4415 1000 4
ExactOnlineREST.CRM.AccountsBulk 10330 1000 10
ExactOnlineREST.Logistics.SupplierItems 7989 60 133
ExactOnlineREST.PurchaseOrder.PurchaseOrders 1040 60 17
ExactOnlineREST.PurchaseOrder.PurchaseOrderLines 19986 60 333

Les appels API réels se trouvent dans l’écran « Sessie-I/O’s » sur Invantive Cloud. Des mesures sur site y sont également intégrées.

Il est conseillé de les utiliser pour identifier les plus gros consommateurs.

« Les I/O de session » indiquent les informations suivantes, filtrées sur la partition de l’administration des problèmes.

Aperçu du nombre d’I/O présents groupés par « Nom de table ».

Étiquettes de ligne Nombre d’Ordre de Tri
ExactOnlineREST.Incremental.TransactionLinesIncremental (new/modified) 999
ExactOnlineREST.SalesOrder.SalesOrders 926
ExactOnlineREST.PurchaseOrder.GoodsReceiptLines 674
ExactOnlineREST.Purchase.PurchaseInvoiceLines 670
ExactOnlineREST.SalesInvoice.SalesInvoiceLinesBulk 654
ExactOnlineREST.SalesOrder.SalesOrderLinesBulk 626
ExactOnlineREST.SalesOrder.GoodsDeliveryLinesBulk 598
ExactOnlineREST.PurchaseOrder.PurchaseOrderLines 317
ExactOnlineXML.XML.Items 172
ExactOnlineREST.SalesOrder.GoodsDeliveriesBulk 72
ExactOnlineREST.PurchaseOrder.GoodsReceipts 60
ExactOnlineREST.SalesOrder.SalesOrdersBulk 56
ExactOnlineREST.SalesInvoice.SalesInvoicesBulk 46
ExactOnlineREST.Purchase.PurchaseInvoices 36
ExactOnlineREST.Logistics.ItemAssortmentProperties 20
ExactOnlineREST.Logistics.ItemsBulk 18
ExactOnlineREST.Workflow.CustomerCooperations 12
ExactOnlineREST.Incremental.TransactionLinesIncremental/$count 6
ExactOnlineREST.Incremental.TransactionLinesIncremental (deleted) 4
ExactOnlineREST.Incremental.GLAccountsIncremental/$count 4
ExactOnlineREST.Incremental.TransactionLinesIncremental (metadata) 4
ExactOnlineREST.Financial.FinancialPeriods 4
ExactOnlineREST.Incremental.GLAccountsIncremental (new/modified) 2
ExactOnlineREST.Subscription.SubscriptionLineTypes 2
ExactOnlineREST.Logistics.ItemAssortments 2
ExactOnlineREST.Subscription.SubscriptionLines 2
ExactOnlineREST.Incremental.GLAccountsIncremental (metadata) 2
ExactOnlineREST.Subscription.Subscriptions 2
ExactOnlineREST.Incremental.GLAccountsIncremental (timemachine) 2
ExactOnlineREST.Financial.Journals 2
ExactOnlineXML.XML.AROutstandingItems 2
ExactOnlineREST.Incremental.GLAccountsIncremental (deleted) 2
ExactOnlineREST.HRM.Costcenters 2
ExactOnlineREST.Subscription.SubscriptionTypes 2
ExactOnlineREST.HRM.Costunits 2
Total final 6004

Les éléments suivants sont notables :

ExactOnlineREST.Incremental.TransactionLinesIncremental (new/modified)

  • Ce chiffre est élevé et inattendu
  • Ce rafraîchissement est initié par la déclaration suivante :
select /*+ ods(true, interval ‘1 seconds’) */ count(*) 
from   ExactOnlineREST.Incremental.TransactionLinesIncremental@eolbe;
  • Cela pose-t-il un problème qui le rend si élevé ?

Tables bulk avec un nombre élevé d’appels

  • 654 appels sur ExactOnlineREST.SalesInvoice.SalesInvoiceLinesBulk
  • Cette table compte environ 300k enregistrements conformément à la table initiale.
  • J’attendrais donc environ 300 appels, étant donné qu’une table bulk retourne 1000 enregistrements par appel ?

Le conseil est de faire correspondre le nombre d’appels d’API au nombre de lignes. Cela peut se faire rapidement via les conseils sur :

Un *Incremental effectue normalement environ 1 000 appels d’API uniquement lors du chargement initial ou en cas de problème (par exemple, une déviation trop importante entre ce qui est en cache et le nombre de lignes).

Des 4 appels d’API pour (deleted), on peut en tout cas conclure qu’une actualisation complète a eu lieu quatre fois pendant la période mesurée.

Cela peut être analysé en regardant le Sessie-I/O pour voir à quelle heure et dans quel ID de session les appels se produisent.

Il en va de même pour les tables *Bulk : l’écran Sessie-I/O offre des indices pour déterminer quand une actualisation a lieu. Contrairement à *Incremental, chaque action de chargement frais (en supposant 300K lignes dans SalesInvoiceLinesBulk) provoquera environ 300 appels d’API. Si une seconde plus tard, la même requête est exécutée, cela générera à nouveau environ 300 appels d’API, etc.

Cela peut correspondre aux 4 appels d’API pour (deleted). Il est possible qu’un script ait été exécuté de manière répétée pendant la période mesurée.

Le script démarre à 07:30 CET via le Planificateur de tâches Windows et crée un fichier journal, mais au niveau du serveur, je ne peux trouver qu’un seul fichier journal.

Les I/O proviennent toutes de l’exécution qui a commencé ce matin et correspondent en termes de timing aux journaux :

Début :

2026-07-03 05:30:12.399 Information itgensql264 : Déclaration Invantive UniversalSQL commencée.

Fin :

2026-07-03 09:20:22.922 Erreur itgencun016 : Erreur itgeneor229 : Il n'y a plus de capacité quotidienne disponible pour l'utilisation de l'API Exact Online dans la division Exact Online '……'.
  Veuillez optimiser votre utilisation de l'API, ou contactez le support Exact Online pour obtenir plus d'appels API par jour que la limite actuelle de 5 000 appels, ou réessayez demain.

Le fichier avec les requêtes suit la structure suivante :

use 123@eolbe;
SELECT /*+ ods(true, interval '1 seconds') */ count(*) FROM ExactOnlineREST.SalesOrder.SalesOrderLinesBulk@eolbe;
SELECT /*+ ods(true, interval '1 seconds') */ count(*) FROM ExactOnlineREST.SalesOrder.SalesOrdersBulk@eolbe;
... autres tables ...

use 456@eolbe;
SELECT /*+ ods(true, interval '1 seconds') */ count(*) FROM ExactOnlineREST.SalesOrder.SalesOrderLinesBulk@eolbe;
SELECT /*+ ods(true, interval '1 seconds') */ count(*) FROM ExactOnlineREST.SalesOrder.SalesOrdersBulk@eolbe;
... autres tables ...

use 789@eolbe;
SELECT /*+ ods(true, interval '1 seconds') */ count(*) FROM ExactOnlineREST.SalesOrder.SalesOrderLinesBulk@eolbe;
SELECT /*+ ods(true, interval '1 seconds') */ count(*) FROM ExactOnlineREST.SalesOrder.SalesOrdersBulk@eolbe;
... autres tables ...

Il est conseillé de relier les informations des sessions E/S à l’utilisation dans les fichiers journaux, y compris les horaires.

Pour le moment, il n’y a aucune raison de supposer qu’il s’agit d’un bug.

Existe-t-il une procédure écrite pour cela ?

Je ne comprends pas encore entièrement l’étape concrète que je dois effectuer.

Non, il n’existe pas de procédure ni d’élaboration à ce sujet, et il n’y en a pas de prévue.

Le conseil est donc de faire appel à un consultant expérimenté ou de demander conseil via Claude AI.

Recherche réalisée avec Claude AI en utilisant les inputs suivants :

  • I/O du 03/07/2026 synchro
  • Journal du 03/07/2026 synchro (erreur)
  • Journal du 10/06/2026 synchro (réussi, encore sur v24)

Voici quelques points qui pourraient être pertinents :

Pas 1000 enregistrements / appel

L'empreinte de la régression se trouve dans les lignes par appel de juillet. D'après l'exportation I/O, chaque grande table en juillet renvoie presque exactement ~500 lignes par appel :

TransactionLines : 492,070 lignes / 999 appels = 492/appel
SalesOrderLinesBulk : 312,594 / 626 = 499/appel
SalesInvoiceLinesBulk : 326,384 / 654 = 499/appel
GoodsDeliveryLinesBulk : 298,456 / 598 = 499/appel

Les points de terminaison bulk et sync d'Exact Online renvoient jusqu'à 1 000 lignes par page. Obtenir systématiquement ~500 sur quatre tables indépendantes n'est pas une coïncidence — c'est une taille de page de 500, c'est-à-dire des pages de demi-taille, doublant les appels pour les mêmes données. Appliquer ce doublement à TransactionLines ainsi qu'aux trois tables bulk donne environ 1 800 à 1 900 appels qu'une page de 1 000 lignes aurait servi en ~950.

Intervalle ODS 1 sec

Une table incrémentale est-elle toujours complétée si l’élément « /*+ ods(true, interval ‘1 seconds’) */ » est omis ?

Actuellement, cela pourrait entraîner une synchronisation complète à chaque fois ?

Il est conseillé de faire le lien avec des moments précis ; cela ressemble à des chargements multiples. Exact Online connaît uniquement les tailles de pages précisément définies par Exact.

L’indice ods n’a pas d’incidence sur la logique des tables incrémentielles ou sur les caches HTTP ; voir aussi :

Merci pour le retour d’information. J’ai comparé les I/O par moment avec le fichier journal comme conseillé, et l’image de plusieurs chargements est confirmée. Aujourd’hui, le renouvellement ralentit et nous suivons pour voir si cela déclenchera de nouveau une limite.

Insights de l’IA :

Contexte : Data Hub 26.0.167. Le rafraîchissement a eu lieu le 03/07 de 05:30 jusqu’au crash à 09:20:22 sur itgeneor229 (« pas de capacité quotidienne restante… la limite actuelle de 5 000 appels »). L’exportation I/O contient 6 004 requêtes, dont ~5 990 dans cette seule fenêtre.

1. Taille de page correcte. Par passe, Data Hub extrait ~999 lignes/appel (par exemple, 312 594 lignes / 313 appels), donc les ~1 000 prescrits par Exact. Mon précédent « 500/appel » était une erreur de comptage : j’ai divisé le nombre de lignes sauvegardées par le total des appels sur deux passes.

2. Chaque grande table est récupérée deux fois. Lorsque je trie les requêtes par moment, chaque grande table se décompose en deux passes presque identiques avec un intervalle inactif entre les deux (0 appels pendant l’intervalle), tandis que le journal n’enregistre qu’un seul Downloaded … rows :

Table Passe 1 Passe 2 Journal “Downloaded”
SalesOrderLinesBulk 05:34–05:45 (313 appels / 417 MB) 05:57–06:08 (313 appels / 421 MB) 312 594 lignes (1×)
SalesInvoiceLinesBulk 07:27–07:34 (327 appels) 07:40–07:48 (327 appels) 326 384 lignes (1×)
GoodsDeliveryLinesBulk 07:01–07:11 (299 appels) 07:17–07:26 (299 appels) 298 456 lignes (1×)
TransactionLinesIncremental 08:22–08:25 (500 appels) 08:38–08:42 (499 appels) 492 070 lignes (1×)
XML Items 07:54–07:57 (86 appels) 08:00–08:03 (86 appels) —

Les deux passes sont symétriques octet par octet (par exemple, 417 contre 421 MB pour SalesOrderLinesBulk). Les données sont donc sauvegardées une fois, mais récupérées deux fois.

3. Impact sur la limite journalière. Les secondes passes représentent ensemble ~1 524 appels. Sans cette répétition, la tâche représenterait ~4 480 appels — sous la limite de 5 000. Le dépassement n’est donc pas dû à la taille des pages ou à l’ancre de synchronisation, mais à la double récupération.

4. Comparaison avec un run réussi (09/06, Data Hub 24.0.445, même ods=1s) : le journal montre une seule Downloaded … rows par table et la tâche s’est terminée sans limite journalière, avec des volumes comparables (voire plus grands) sur le code de division. Remarque : ce journal plus ancien ne contient pas d’I/O au niveau des requêtes, donc je ne peux pas compter exactement le nombre d’appels pour juin — la double récupération n’est visible que dans l’export 26.0.167.

Question : pouvez-vous aider à expliquer pourquoi chaque table bulk/sync est récupérée en deux passes ? Concrètement :

  • Le lancement de l’ODS et le SELECT count(*) qui suit déclenchent-ils chacun une récupération séparée ?
  • Qu’est-ce que la tâche attend pendant l’intervalle inactif de ~6–12 min entre les deux passes ?

Sur la base des informations, il y a peu à dire.

Il est conseillé de :

  • désactiver le rafraîchissement régulier
  • activer Invantive Trace comme décrit sur Provide Support with Data Hub and other on-premises products
  • exécuter le travail une fois
  • exécuter à nouveau le travail
  • compresser les fichiers de trace et les envoyer à support@invantive.eu en mentionnant l’URL

Le traçage est actif, je suppose qu’il s’agit de préférence d’un traçage qui commence après une réinitialisation de la limite quotidienne ?

Correct, pour que le itgeneor229 ne vienne pas gâcher le tout pour l’exhaustivité.

L’envoi du .zip entraîne un « Avertissement de courriel non distribué »

Le message contient 3 fichiers « .zip » pour un total de seulement 600kb

Le traçage a été livré aujourd’hui.

Notez que cette mise à jour s’exécute dans l’environnement où une 2e connexion avec le même nom de conteneur de données est présente, cela peut-il être par conséquent un effet secondaire de : Choix de la mauvaise connexion avec Invantive Data Hub version 26.0 - invantive ?

Les trois fichiers ont été analysés. Ces traces ne contiennent pas le cycle de rafraîchissement lui-même. Ce ne sont que les premiers fichiers lors du démarrage du processus et ils couvrent quelques secondes.

Ce qui est remarquable, c’est qu’il s’agit de trois processus distincts qui démarrent à quelques minutes d’intervalle. Pour le test, il est nécessaire de faire tourner le programme complètement puis de le répéter. Étant donné 5.000 appels API, cela doit durer au moins 5.000 secondes.

Il est conseillé de recueillir des traces des exécutions complètes et de les envoyer. De préférence après mise à niveau vers la version 26.0.169 qui est maintenant disponible comme version “actuelle” sur https://download.invantive.com.

La mise à jour vers la version 26.0.170 a été planifiée et est maintenant en cours.

Les trois traçages étaient une simulation limitée d’une seule table, lancée trois fois de suite.

Claude AI a remarqué que l’API lirait la table deux fois de suite, ceci en passant.

Dès que les traçages seront terminés avec la nouvelle version, et si le problème persiste, les nouveaux traçages seront fournis.

Une analyse interne a révélé une tendance selon laquelle le nombre d’appels API pour AccountsIncremental (table des clients) est plus élevé avec la version 26.0 qu’avec la version 25.0 sur une administration de test dans Exact Online.

Cette administration contient environ 100 000 relations et une requête lit AccountsIncremental 10 à 20 fois par jour.

Version Nombre d’appels par jour
25.0.190 220
25.0.205 391
25.0.210 112
25.0.211 145
26.0.011 2283
26.0.054 319
26.0.066 569
26.0.069 1091
26.0.148 1920
26.0.164 724
26.0.167 3690

Une trace de la version récente 26.0.167 est disponible. Elle sera utilisée pour une analyse.

La traçabilité de la mise à jour 26.0.170 a été fournie via un lien de téléchargement à Invantive Support.