Je récupère plusieurs tables depuis Exact Online pour un client, mais je me heurte aux limites fixées, en particulier la limite quotidienne de 50 Go de trafic de données. J’aimerais déterminer quelles tables ou colonnes génèrent autant de données que j’atteigne cette limite.
Un exemple : dans la table ExactOnlineREST.CRM.Accounts, il y a une colonne Logo, probablement une image encodée. Après avoir exclu cette colonne, j’ai pu reprendre le traitement de mes données. Entre-temps, je me heurte toutefois de nouveau à la même limite, probablement à cause d’autres tables ou colonnes volumineuses.
Comment puis-je surveiller ou analyser quelles tables/colonnes sont responsables de cette consommation élevée de données ? Existe-t-il des outils, des possibilités de journalisation (logging) ou des bonnes pratiques pour y voir plus clair ?
Une consommation de 50 Go en trafic réseau est extrêmement élevée, surtout s’il ne s’agit pas de centaines d’environnements. Voici quelques conseils :
Analyse
On ne sait pas quels outils de surveillance Azure Data Factory propose lui-même pour une analyse du trafic réseau. C’est pourquoi seule la perspective d’Invantive Cloud est décrite ici. Les options les plus couramment utilisées sont :
Surveillance
De nombreux détails sont disponibles, par exemple, depuis la page Cloud « Chronologie ». Voir également :
E/S de session
L’écran E/S de session affiche également le trafic réseau d’Invantive Cloud vers Azure Data Factory, en plus des appels API individuels.
Notez que seules les E/S depuis 0h00 UTC du jour en cours sont disponibles.
Requêtes SQL
Le traitement d’une requête peut être consulté en détail via des requêtes sur le dictionnaire de données. Voir :
Optimisations Courantes
Compression
Lors de l’utilisation d’OData, il est conseillé d’échanger les données de manière compressée. Indiquez via l’en-tête HTTP standard que les données peuvent être envoyées compressées. Voir :
Cela permet normalement de gagner environ un facteur 10.
Filtrage Horizontal
En général, il est conseillé d’omettre les champs à contenu volumineux, comme pour les relations et les articles :
ExactOnlineREST.CRM.Accounts@eol
ExactOnlineREST.Logistics.Items@eol
Spécifiquement sur Twinfield, il est également recommandé d’ignorer les valeurs nulles, voir également :
Filtrage Vertical
En général, il est conseillé d’appliquer des filtres si vous estimez que Items doit être utilisé à la place de ItemsIncremental ou ItemsBulk.
Notez qu’UniversalSQL connaît le « filtrage côté serveur » (server-side filtering). Voir par exemple :
Sur les tables *Bulk, il est également possible de filtrer, mais de manière un peu moins efficace que sur les tables non-bulk. Sur les tables *Incremental, un filtre ne sera appliqué qu’au sein d’UniversalSQL. Le moteur traite toutes les lignes de la table. Voir également :
Pour les tables suivantes, vous pouvez envisager le choix entre les variantes et les filtres appropriés :
Cette question a été automatiquement clôturée après 1 semaine d’inactivité. La dernière réponse donnée a été marquée comme solution.
Veuillez poser une nouvelle question via un sujet distinct si le problème se reproduit. Veuillez inclure dans la nouvelle question un lien vers ce sujet en collant son URL dans le texte.