Langsame Empfang von Exact Online-Daten über Invantive UniversalSQL Server

Mir fällt auf, dass die Exact Online-Verbindung sehr langsam ist.

Ich habe relativ kleine Datenmengen.

select Division as 'Company'
,      Supplier as 'Vendor'
,      SupplierName as 'Name'
,      DivisionName
,      AmountDC
,      year(EntryDate)
from   ExactOnlineREST#PurchaseEntry.PurchaseEntries as p
inner
join   ExactOnlineREST#CRM.Accounts
on

Die verwendeten Tabellen basieren auf relativ langsamen APIs (etwa 60 Zeilen pro Sekunde sustained throughput).

OLTP-Performance verbessern mit limit

Wenn es darum geht, so schnell wie möglich Beispieldaten zu erhalten, füge ein limit 100 hinzu. Das hilft nicht immer, da ein join beteiligt ist, der aufgrund der Verwendung eines Hash-Joins möglicherweise nicht zu Verbesserungen führt.

Die Join-Strategie von Invantive UniversalSQL kann geändert werden (Dokumentation).

Anstatt alle Daten aus zwei verknüpften Tabellen abzurufen und zu verbinden, wird eine der beiden Tabellen als Ausgangspunkt verwendet, und für alle zugehörigen Werte aus der anderen Tabelle werden Abfragen abgefeuert. Dieses Verhalten wird bis zu einer bestimmten maximalen Anzahl von Werten angewendet, die standardmäßig auf 5.000 steht. Darüber hinaus wird ein Full Join zwischen beiden Tabellen erstellt.

Im Fall von beispielsweise OData geschieht dies mit einer oder mehreren Abfragen, jeweils mit einer begrenzten Anzahl von Werten.

Hash-Joins, die alles abrufen, bevor sie verbinden, können für einen Join vollständig deaktiviert werden mit dem no_join_set-Hinweis oder in der Anzahl begrenzt werden mit einem join_set-Hinweis.

Vorerst lautet die Empfehlung, einen no_join_set zu verwenden, sofern das Datenvolumen der Tabellen nicht extrem groß ist, zum Beispiel:

select /*+ no_join_set(p, 10000) */
       1 c
...

OLTP-Performance verbessern mit where-Filter

Darüber hinaus ist es ratsam, Filter hinzuzufügen, damit ein kleinerer Datensatz verwendet wird. Dies kann durch Hinzufügen eines where am Ende auf die (vorzugsweise) erste Tabelle geschehen, wie:

where  p.status = 10 /* Reduziert das Volumen um x% */

oder durch die Verwendung einer inneren View, wie:

from   ( select * from PurchaseEntries where ... ) p
join ...

Beachte, dass bei Exact Online speziell nicht alle Tabellen bei denselben Feldern einen Filter an den API-Server weitergeben. Auf anderen Plattformen ist das wiederum anders. Die Möglichkeit kann abgefragt werden, indem man nach der Eigenschaft „server side filtering“ in SystemTableColumns@DataDictionary sucht. Die SQL-Engine verwendet diese Information. Exact entfernt leider im Laufe der Jahre aus eigenen Gründen zunehmend mehr Möglichkeiten für Server-seitiges Filtern.

OLAP-Performance verbessern mit OLAP-Tabellen

Von den meisten Tabellen in Exact Online mit potenziell vielen Transaktionsdaten gibt es Varianten, die speziell darauf ausgelegt sind, mit wenigen API-Aufrufen Millionen von Zeilen abrufen zu können. Dies sind die sogenannten *Incremental-Tabellen. Diese Incremental-Tabellen sind grob genommen für 1 Zeile genauso schnell wie für alle Zeilen und daher meist nicht für OLTP-Anwendungen geeignet.

Weitere Informationen findest du hier:

Kopie

Schließlich kann in Restfällen in Betracht gezogen werden, eine Kopie zu erstellen, zum Beispiel im In-Memory-Storage, lokal oder in einer traditionellen Datenbank.

Diese Frage wurde nach 1 Woche Inaktivität automatisch geschlossen. Die zuletzt gegebene Antwort wurde als Lösung markiert.

Bitte stelle eine neue Frage über ein separates Thema, falls das Problem erneut auftritt. Bitte füge in der neuen Frage einen Link zu diesem Thema hinzu, indem du die URL im Text einfügst.