Invantive UniversalSQL Server経由でのExact Onlineデータの受信が遅い

Exact Onlineの接続がとても遅いことに気づきました。

データ量は比較的少ないです。

select Division as 'Company'
,      Supplier as 'Vendor'
,      SupplierName as 'Name'
,      DivisionName
,      AmountDC
,      year(EntryDate)
from   ExactOnlineREST#PurchaseEntry.PurchaseEntries as p
inner
join   ExactOnlineREST#CRM.Accounts
on

使用されているテーブルは、比較的低速なAPI(持続スループットで約60行/秒)を基盤としています。

limitでOLTPパフォーマンスを改善する

できるだけ早くサンプルデータを取得したい場合は、limit 100を追加してください。ただし、ハッシュ結合(hash join)が使用されているために改善につながらないjoinが関わっている場合は、必ずしも効果があるとは限りません。

Invantive UniversalSQLの結合戦略は変更可能です(ドキュメント)。

関連する2つのテーブルのすべてのデータを取得してから結合する代わりに、どちらか一方のテーブルを起点として使用し、もう一方のテーブルから該当するすべての値に対してクエリを発行します。この挙動は、デフォルトで5,000件に設定されている一定の最大値まで適用されます。それを超えると、両テーブル間でフル結合(full join)が作成されます。

例えばODataの場合、これは1つまたは複数のクエリで行われ、それぞれ限られた数の値を扱います。

すべてを取得してから結合するハッシュ結合は、no_join_setヒントを使用して結合ごとに完全に無効化するか、join_setヒントで件数を制限することができます。

現時点では、テーブルのデータ量が極端に大きくない限り、以下のようにno_join_setを使用することをお勧めします:

select /*+ no_join_set(p, 10000) */
       1 c
...

whereフィルタでOLTPパフォーマンスを改善する

さらに、より小さなデータセットを使用するようにフィルタを追加することも賢明です。これは、(できれば)最初のテーブルの末尾にwhereを追加することで実現できます:

where  p.status = 10 /* 容量をx%削減 */

または、次のようにインナービューを使用することでも可能です:

from   ( select * from PurchaseEntries where ... ) p
join ...

なお、Exact Onlineでは、すべてのテーブルが同じフィールドでAPIサーバーにフィルタを渡すわけではない点に特に注意してください。他のプラットフォームではこれが異なります。この機能の有無は、SystemTableColumns@DataDictionaryで「server side filtering」プロパティを検索することで確認できます。SQLエンジンはこの情報を使用します。残念ながら、Exactは年々、独自の理由によりサーバーサイドフィルタリングの機能を徐々に削減しています。

OLAPテーブルでOLAPパフォーマンスを改善する

大量のトランザクションデータを持つ可能性のあるExact Online上のほとんどのテーブルには、わずかなAPI呼び出しで数百万行を取得できることを特に目的としたバリアントが存在します。これがいわゆる*Incrementalテーブルです。これらのincrementalテーブルは、1行取得する場合もすべての行を取得する場合もおおよそ同じ速度であるため、通常OLTP用途には適していません。

詳細については、以下を参照してください:

コピー

最後に、残りのケースでは、例えばインメモリストレージ、ローカル、または従来型のデータベースにコピーを作成することを検討することもできます。

この質問は、1週間操作がなかったため自動的にクローズされました。最後に投稿された回答が解決策としてマークされています。

問題が再発した場合は、別のトピックとして新しい質問を立ててください。新しい質問には、本文中にこのトピックのURLを貼り付けて、リンクを記載していただくようお願いします。