La tabla de Simplicate no se puede cargar en el servicio de Power BI

Tengo un problema. Uso Simplicate como origen y PowerBI service como destino.

En Simplicate hay una tabla Simplicate.Timeline.TimelineLinkedMessages@spe que no se puede cargar al datamart de Power BI service.

Por defecto uso filtros en el datamart, y el criterio de filtrado se traslada (se “pliega”) al lado del servidor. Los filtros son principalmente fechas para obtener solo los datos de los últimos días, por ejemplo:

([created] >= "2023-10-01")

Para esta tabla, el filtro no se puede plegar, y después de un tiempo Invantive comienza a descargar toda la tabla. Con más de 100.000 registros, no es viable.

Aquí hay un ejemplo de Bridge Online Monitoring:

  • Nombre de la tabla Simplicate.Timeline.TimelineLinkedMessages
  • Sentencia SQL
select t.* from Simplicate.Timeline.TimelineLinkedMessages@spe t where ([created] >= :w1) limit 100
  • Valores de los parámetros
w1 = 2023-11-25 (string)
  • Desde caché (3.600 seg)
  • Solo caché
  • Filas 0
  • Duración total (ms) 89.043
  • Duración de procesamiento (ms) 89.043

El proceso se detiene en «start yielding data», y después de un tiempo comienza una nueva descarga sin ningún filtro aplicado.

¿Alguien tiene idea de cuál puede ser la razón de esto y cuál es la solución? Puedo proporcionar más detalles si se solicita.

The reason for a new download starting without a filter applied is probably something from the dataset definitions. Invantive Bridge Online does not itself trigger new downloads.

Given the query:

select t.*
from   Simplicate.Timeline.TimelineLinkedMessages@spe t 
where  ([created] >= :w1) 
limit  100

the filter is being included. Depending on the platform connected to and it’s capabilities, this filter can be forwarded to the platform (“server-side filtering”).

The actual call being made can be found in the view SessionIOs@DataDictionary after running and canceling the query on Simplicate before. See also What API calls did Invantive SQL actually perform?.

It is recommended to check that data dictionary view for the actual behaviour.

Probably based upon the text of the comment, created is not included in the filters sent to the Simplicate API-server.

In that case it is recommended to check whether there are any other filter criteria that are server-side filterable, and return a subset neede, encompassing all the data using the filter on created.

Please make sure that (specifically for Simplicate) the dates are specified as text (see Limit Data load from Simplicate on Invantive Cloud to Azure Data Factory - 6 van forums).

In case assistance is needed, it is recommended to use a short consult to get assistance.