OEMライセンスでWebhookのトリクルロードを有効にする

概要

Invantive Data Replicator(OEM版または通常版のいずれか)でトリクルロード(trickle loading)を使用したデータレプリケーションにより、Exact Onlineエコシステムへの負荷を大幅に軽減し、Exact Onlineテーブルのレプリケーション時間を短縮できます。本ノートでは、大量の企業(company)や顧客を対象としたデータレプリケーションを簡単に設定・維持するためのアプローチと実践的なクエリを紹介します。このアプローチは、十分なリソースがあれば5,000企業を超えてもスケールします。

データレプリケーションのパフォーマンスとOEM

Invantive Data Replicatorは、1テラバイトを超えるデータ量を持つ大規模環境への導入が増えています。通常、Exact Onlineの企業、Loketの給与計算企業、Visma.netの企業といったプラットフォームの数千のパーティション(partition)が対象となります。データレプリケーションは、以下のいずれか、または両方を達成する必要があります。

  • APIエコシステムへの負荷を軽減しながら、クエリのパフォーマンスを向上させる。
  • Invantive SQLドライバーやADO.NETをサポートしていないツールを使用できるようにする。

レプリケーションプロセス自体が、パーティション(企業)とデータの量によっては、クラウドパートナーにとって実際にリソースを大量に消費するものになり得ます。そのためInvantiveは、レプリケーション時間を短縮しつつ、サプライヤーのAPIエコシステムへの負荷も軽減するための、いくつかの最適化戦略を提供しています。

最も人気があるのは「トリクルロード」の使用です。トリクルロードは増分型の戦略で、最初に完全なデータセットを読み込んだ後は、削除・挿入・更新からなる変更のみを適用します。

トリクルロードを用いたクラウドプラットフォームからの情報フローは、「Receivers(レシーバー)」を通る変則的なフローとして以下に示されています。

特に大規模なデータセットでは、ごく数パーセントのみが「ホット(hot)」であり、それ以外のデータはすべて静止状態にあり、将来のために保存されています。

クラウドプラットフォームでは、これらの変更(デルタ)は一般にWebhookイベントから取得されます。データベースプラットフォームでは、これらの変更は一般にデータベーストリガーや、Oracleのredoログのようなトランザクションログから取得されます。

特にOEM展開では、通常、1つのOEMライセンス契約コードを共有する数十の環境があります。また、顧客が自身のInvantiveライセンスを持ち込む(「BYOL」つまり「Bring Your Own License」)ホスティングが提供されることもよくあります。このような環境でWebhookを設定し自動的に維持するには、企業が追加されるたびに作業を繰り返すことを避けるため、多少の追加の配慮が必要です。

以下のコードは、OEMで対応する多数の異なる顧客向けに、トリクルロードの有効化と維持を最適化するのに役立ちます。コードの説明にはExact OnlineのWebhookを使用しています。

トリクルロード(Webhook)の標準的な使用方法

トリクルロードの標準的な使用方法は別のトピックで説明されていますが、一般的な手順は以下の通りです。

セットアップ

接続されたクラウドプラットフォームの変更が少なく、パーティションが1個または1,000個程度の通常の内部利用展開では、トリクルロードの有効化は、テーブルごとに以下の文を一度実行するだけで行うのが一般的です。

--
-- 対象となるすべての企業/パーティションを選択します。
--
use all

--
-- 特定のテーブルに対してトリクルロードを有効にします。
--
alter persistent cache set table NAME approach trickle

その後、イベントのダウンロード時の認証に使用するInvantive Data Replicatorのトークンを、以下のように一度設定します。

alter persistent cache set token = 'value'

イベントフィードのダウンロード

これらの変更を行った後、定期的に実行されるInvantive SQLレプリケーションスクリプトには、通常、先頭付近に新しいイベントをダウンロードする文が含まれます。

alter persistent cache download feed

OEM向けトリクルロード(Webhook)の自動有効化

以下のInvantive PSQLブロックは、選択されたすべてのパーティション(Exact Onlineの企業など)について、Webhookをサポートするレプリケート対象テーブルに限定してトリクルロードを有効にします。

Invantive PSQLのサンプルコード:

begin
 for r_trickle in
 ( --
   -- トリクルロードが利用可能だがまだ有効化されていない
   -- すべてのテーブルに対してトリクルロードを有効化します。
   --
   -- Webhookをサポートする(したがってトリクルロードも
   -- サポートする)レプリケート対象テーブルをすべて選択します。
   -- トリクルロードがまだ有効化されていない1つ以上の
   -- テーブルパーティション(Exact Onlineの企業など)を
   -- 持つテーブルのみに限定します。
   --
   -- 初回実行時の想定実行時間(秒): パーティション(企業)数の5倍。
   -- 初回実行以降の想定実行時間(秒): 1。
   --
   select distinct
          'alter persistent cache set table '
          || tbe.tbe_full_qualified_name
          || '  approach trickle'
          stmt
   from   dc_tables@datacache tbe    
   join   dc_table_partitions@DataCache tpn
   on     tpn.tbe_id = tbe.tbe_id
   and    tpn.tpt_seeding_approach_used_code = 'C' /* 完了。 */
   join   SYSTEMTABLES@DataDictionary ste
   on     ste.full_qualified_name = tbe.tbe_full_qualified_name
   and    ste.webhook_topic is not null
   --
   -- すべてのXMLテーブルは、いずれにせよ
   -- Webhookを持たないためスキップします。
   --
   where  tbe.tbe_full_qualified_name like '%REST%'
 )
 loop
   execute immediate r_trickle.stmt;
 end loop;
end;

Webhookが利用できない場合は、スマートサンプリング(smart sampling)アプローチの使用を検討できます。また、テーブルの行数が50,000行を超えており、サーバー側フィルタリングが利用可能な場合は、以下のようなクエリを使用してレプリケーションのパフォーマンスを改善できます。

create or replace table REPLICA@DATABASE
as
select ... from OLD
union
distinct on PK
select ... from NEW where MODIFIED > date

もう1つの代替手段は、2つのテーブルの内容を一致させるsynchronize文の使用です。詳しくはSQL文法をご参照ください。

OEM向けメッセージのダウンロード

Webhookイベントが発生すると、Invantive Cloudによってキューにメッセージが登録されます。このキューの内容は、Invantive Data Replicatorによってダウンロードし処理できます。

OEMの場合、正しいメッセージがダウンロードされるようにするには、ダウンロード時にデータコンテナIDを指定する必要があります。指定しないと、最初の環境がすべてのメッセージをダウンロードしてしまいます。これらのメッセージは処理されませんが、ダウンロードされてしまうと、残りの環境ではそれらを利用できなくなります。

Invantive PSQLのサンプルコード:

declare
 l_license_contract_code varchar2 := 'L9999999999';
 l_secret_token          varchar2 := 'secret';
begin
 --
 -- 想定実行時間: メッセージ1,000件あたり1秒。
 --
 for r_dcr
 in
 ( select 'alter persistent cache download feed LICENSE CONTRACT CODE '''
          || l_license_contract_code
          || ''''
          || ' token '''
          || l_secret_token
          || ''''
          || ' datacontainer '''
          || dcr.dcr_name
          || ''''
          stmt
   from   ( select distinct
                   dcr.dcr_name
            from   dc_table_partitions@DataCache tpn
            join   dc_tables@DataCache tbe
            on     tbe.tbe_id = tpn.tbe_id
            join   dc_data_containers@DataCache dcr
            on     dcr.dcr_id = tbe.dcr_id
            where  tpn.tpt_seeding_approach_used_code = 'T'
          ) dcr
   order
   by     dcr.dcr_name
 )
 loop
   execute immediate r_dcr.stmt;
 end loop;
end;

Webhookストーム

Exact Onlineには「Webhookストーム」があります。バックアップの復元、アップグレード、大規模な企業での期間締め処理などのイベントは、1時間以内に数百万件のメッセージをトリガーすることがあります。意味のあるレート制限は適用されていないため、適切に設計されていないと、Webhookレシーバーが一種の「分散型サービス拒否(DDoS)」攻撃を受けたような状態になる可能性があります。

Invantive Cloudは1時間あたり1,000万件のイベントを処理できます。これを超えると、イベントはスロットリングされ、時間をかけて処理されます。例えば、20,000のExact Online企業にまたがって60分間に1億件のイベントが発生した場合、Invantiveがそれに追いつき、イベントを利用可能にするまでに10時間かかります。

とはいえ、配信されるWebhookイベントの平均数は1時間あたり50,000件であり、最大処理能力に対してわずか0.5%にすぎません。Webhookストームは実際に発生しますが、Data Replicatorによるイベント受信が大幅に遅延することはめったにありません。

複数イベントの重複排除

Exact Onlineは、1つの変更に対して複数のイベントをトリガーすることが知られています。例えば、トランザクションに含まれる行ごとに、トランザクションヘッダーに対するWebhookイベントが送信されます。これは時間の経過とともに改善されており、現在ではほとんど、あるいはまったく重複は見られません。余分な重複があった場合は、設定可能な時間間隔内に受信すれば、Invantive Cloudによって自動的に重複排除されます。この時間間隔はデフォルトで15分に設定されています。

OEM向けトークンのセキュリティ

イベントフィードを取得するためのトークンは、通常、バッチジョブからの取得を可能にするため、以下のようにData Replicatorのリポジトリに永続的に保存されます。

alter persistent cache set token = 'value'

しかし、一部のOEMでは、エンドユーザーがData Replicatorのリポジトリデータベースに直接アクセスできるようにしています。トークンへのアクセスは、攻撃経路(attack vector)の追加要素となり得ます。

そのため、このサンプルではトークンはデータベースに永続的に保存されていません。代わりに、トークンはスクリプト内に保存されています。セキュリティを高めるために、トークン文字列に標準のデバイスキー暗号化を追加することもできます。Exact Onlineの場合、Webhookに実際のビジネス情報がほとんど、あるいはまったく含まれないため、一般的にはこれは必要ありません。

トリクルロードの有効化状況の確認

Exact Onlineでは、WebhookSubscriptionsを使用して、現在有効化されているWebhookを確認できます。

select /*+ ods(false) http_disk_cache(false) http_memory_cache(false) */
      *
from   WebhookSubscriptions

例:

Webhookイベントのルーティングの確認

Exact Onlineでトリクルロードを最初に有効化した後、実際のレプリケーションが完全コピーではなく増分トリクルロードを使用して行われるようになるまでには、しばらく時間がかかります。Invantive Data Replicatorがループを閉じるには、Exact Onlineからのハートビート信号が必要です。Exact Online企業(パーティション)とレプリケート対象テーブルの組み合わせに対してWebhookイベントのメッセージが一切受信されていない間は、データ損失を避けるため、レプリケーションは完全コピーを使い続けます。

以下のコードは、Exact Onlineのaccounts内の要素を変更し、関連するメッセージが届くことを確認することで、イベント受信のループをテストするのに役立ちます。

--
-- 例えばaccountsを使用して、メッセージの取得をテストします。
--
update exactonlinerest..accounts 
set    name = name || '!' 
where  name like 'Belastingdienst%'
 
--
-- 変更を元に戻します。
--
update exactonlinerest..accounts 
set    name = replace(name, '!', '') 
where  name like 'Belastingdienst%!'
 
--
-- その後:
-- * 3分待ちます。
-- * 上記のフィードダウンロードを実行します。
-- * 受信したメッセージの内容を確認します。
--
select *
from   dc_incoming_messages@DataCache

例:

手動でループを強制的に閉じたい場合は、コンサルタントにお問い合わせください。