La table Simplicate ne peut pas être chargée dans le service Power BI

J’ai un problème. J’utilise Simplicate comme source, et le service PowerBI comme destination.

Dans Simplicate, il y a une table Simplicate.Timeline.TimelineLinkedMessages@spe qui ne peut pas être chargée dans le datamart du service Power BI.

Par défaut, j’utilise des filtres dans le datamart, et le critère de filtrage est transmis (folded) côté serveur. Les filtres sont la plupart du temps des dates permettant de récupérer uniquement les données des derniers jours, par exemple :

([created] >= "2023-10-01")

Pour cette table, le filtre ne peut pas être transmis (folded), et au bout d’un moment, Invantive commence à télécharger la totalité de la table. Avec plus de 100 000 enregistrements, ce n’est pas réalisable.

Voici un exemple provenant de Bridge Online Monitoring :

  • Nom de la table Simplicate.Timeline.TimelineLinkedMessages
  • Instruction SQL
select t.* from Simplicate.Timeline.TimelineLinkedMessages@spe t where ([created] >= :w1) limit 100
  • Valeurs des paramètres
w1 = 2023-11-25 (string)
  • Depuis le cache (3 600 s)
  • Cache uniquement
  • Lignes 0
  • Durée totale (ms) 89 043
  • Durée de traitement (ms) 89 043

Le processus s’arrête à « start yielding data », et après un moment, un nouveau téléchargement démarre sans qu’aucun filtre ne soit appliqué.

Quelqu’un a-t-il une idée de la cause possible, et de la solution ? Je peux fournir plus de détails sur demande.

The reason for a new download starting without a filter applied is probably something from the dataset definitions. Invantive Bridge Online does not itself trigger new downloads.

Given the query:

select t.*
from   Simplicate.Timeline.TimelineLinkedMessages@spe t 
where  ([created] >= :w1) 
limit  100

the filter is being included. Depending on the platform connected to and it’s capabilities, this filter can be forwarded to the platform (“server-side filtering”).

The actual call being made can be found in the view SessionIOs@DataDictionary after running and canceling the query on Simplicate before. See also What API calls did Invantive SQL actually perform?.

It is recommended to check that data dictionary view for the actual behaviour.

Probably based upon the text of the comment, created is not included in the filters sent to the Simplicate API-server.

In that case it is recommended to check whether there are any other filter criteria that are server-side filterable, and return a subset neede, encompassing all the data using the filter on created.

Please make sure that (specifically for Simplicate) the dates are specified as text (see Limit Data load from Simplicate on Invantive Cloud to Azure Data Factory - 6 van forums).

In case assistance is needed, it is recommended to use a short consult to get assistance.