Réception lente des données Exact Online via Invantive UniversalSQL Server

Je remarque que la connexion Exact Online est très lente.

J’ai des quantités de données relativement petites.

select Division as 'Company'
,      Supplier as 'Vendor'
,      SupplierName as 'Name'
,      DivisionName
,      AmountDC
,      year(EntryDate)
from   ExactOnlineREST#PurchaseEntry.PurchaseEntries as p
inner
join   ExactOnlineREST#CRM.Accounts
on

Les tableaux utilisés sont basés sur des API relativement lentes (environ 60 lignes par seconde en débit soutenu).

Améliorer les performances OLTP avec limit

Lorsqu’il s’agit d’obtenir des données d’exemple le plus rapidement possible, ajoutez un limit 100. Cela n’aidera pas toujours, car il peut y avoir un join impliqué qui ne conduit pas nécessairement à des améliorations en raison de l’utilisation d’un hash join.

La stratégie de jointure d’Invantive UniversalSQL peut être modifiée (documentation).

Au lieu de récupérer toutes les données de deux tables liées et de les associer, l’une des deux tables est utilisée comme point de départ, et pour chaque valeur correspondante, des requêtes sont lancées vers l’autre table. Ce comportement est appliqué jusqu’à un certain nombre maximal de valeurs, qui est par défaut fixé à 5 000. Au-delà, une jointure complète (full join) est effectuée entre les deux tables.

Dans le cas d’OData, par exemple, cela se fait avec une ou plusieurs requêtes, chacune portant sur un nombre limité de valeurs.

Les hash-joins qui récupèrent tout avant d’effectuer la jointure peuvent être entièrement désactivés pour une jointure grâce au hint no_join_set, ou limités en nombre avec un hint join_set.

Pour l’instant, il est recommandé d’utiliser no_join_set tant que le volume de données des tables n’est pas extrêmement important, par exemple avec :

select /*+ no_join_set(p, 10000) */
       1 c
...

Améliorer les performances OLTP avec un filtre where

Il est également judicieux d’ajouter des filtres afin d’utiliser un jeu de données plus restreint. Cela peut se faire en ajoutant un where à la fin, de préférence sur la première table, comme suit :

where  p.status = 10 /* Réduit le volume de x% */

ou en utilisant une vue interne (inner view), comme :

from   ( select * from PurchaseEntries where ... ) p
join ...

Notez que, spécifiquement pour Exact Online, toutes les tables ne transmettront pas un filtre à l’API-serveur sur les mêmes champs. Sur d’autres plateformes, cela peut être différent. La possibilité peut être consultée en recherchant la propriété « server side filtering » dans SystemTableColumns@DataDictionary. Le moteur SQL utilise cette information. Malheureusement, au fil des années, Exact supprime progressivement de plus en plus de possibilités de filtrage côté serveur, pour des raisons qui leur sont propres.

Améliorer les performances OLAP avec les tables OLAP

La plupart des tables d’Exact Online susceptibles de contenir beaucoup de données transactionnelles disposent de variantes spécifiquement conçues pour récupérer des millions de lignes avec seulement quelques appels API. Ce sont les tables dites *Incremental. Ces tables incrémentielles sont, en gros, tout aussi rapides pour 1 ligne que pour toutes les lignes, et ne sont donc généralement pas adaptées aux applications OLTP.

Pour plus d’informations, voir :

Copie

Enfin, dans les cas résiduels, on peut envisager de réaliser une copie, par exemple dans le stockage en mémoire (in-memory storage), localement ou dans une base de données traditionnelle.

Cette question a été automatiquement clôturée après 1 semaine d’inactivité. La dernière réponse donnée a été marquée comme solution.

Si le problème se reproduit, merci de poser une nouvelle question dans un sujet distinct. Merci d’inclure dans la nouvelle question un lien vers ce sujet en collant son URL dans le texte.