概要
Invantive Data Replicator(OEM版または通常版のいずれか)でトリクルロード(trickle loading)を使用したデータレプリケーションにより、Exact Onlineエコシステムへの負荷を大幅に軽減し、Exact Onlineテーブルのレプリケーション時間を短縮できます。本ノートでは、大量の企業(company)や顧客を対象としたデータレプリケーションを簡単に設定・維持するためのアプローチと実践的なクエリを紹介します。このアプローチは、十分なリソースがあれば5,000企業を超えてもスケールします。
データレプリケーションのパフォーマンスとOEM
Invantive Data Replicatorは、1テラバイトを超えるデータ量を持つ大規模環境への導入が増えています。通常、Exact Onlineの企業、Loketの給与計算企業、Visma.netの企業といったプラットフォームの数千のパーティション(partition)が対象となります。データレプリケーションは、以下のいずれか、または両方を達成する必要があります。
- APIエコシステムへの負荷を軽減しながら、クエリのパフォーマンスを向上させる。
- Invantive SQLドライバーや
ADO.NETをサポートしていないツールを使用できるようにする。
レプリケーションプロセス自体が、パーティション(企業)とデータの量によっては、クラウドパートナーにとって実際にリソースを大量に消費するものになり得ます。そのためInvantiveは、レプリケーション時間を短縮しつつ、サプライヤーのAPIエコシステムへの負荷も軽減するための、いくつかの最適化戦略を提供しています。
最も人気があるのは「トリクルロード」の使用です。トリクルロードは増分型の戦略で、最初に完全なデータセットを読み込んだ後は、削除・挿入・更新からなる変更のみを適用します。
トリクルロードを用いたクラウドプラットフォームからの情報フローは、「Receivers(レシーバー)」を通る変則的なフローとして以下に示されています。
特に大規模なデータセットでは、ごく数パーセントのみが「ホット(hot)」であり、それ以外のデータはすべて静止状態にあり、将来のために保存されています。
クラウドプラットフォームでは、これらの変更(デルタ)は一般にWebhookイベントから取得されます。データベースプラットフォームでは、これらの変更は一般にデータベーストリガーや、Oracleのredoログのようなトランザクションログから取得されます。
特にOEM展開では、通常、1つのOEMライセンス契約コードを共有する数十の環境があります。また、顧客が自身のInvantiveライセンスを持ち込む(「BYOL」つまり「Bring Your Own License」)ホスティングが提供されることもよくあります。このような環境でWebhookを設定し自動的に維持するには、企業が追加されるたびに作業を繰り返すことを避けるため、多少の追加の配慮が必要です。
以下のコードは、OEMで対応する多数の異なる顧客向けに、トリクルロードの有効化と維持を最適化するのに役立ちます。コードの説明にはExact OnlineのWebhookを使用しています。
トリクルロード(Webhook)の標準的な使用方法
トリクルロードの標準的な使用方法は別のトピックで説明されていますが、一般的な手順は以下の通りです。
セットアップ
接続されたクラウドプラットフォームの変更が少なく、パーティションが1個または1,000個程度の通常の内部利用展開では、トリクルロードの有効化は、テーブルごとに以下の文を一度実行するだけで行うのが一般的です。
--
-- 対象となるすべての企業/パーティションを選択します。
--
use all
--
-- 特定のテーブルに対してトリクルロードを有効にします。
--
alter persistent cache set table NAME approach trickle
その後、イベントのダウンロード時の認証に使用するInvantive Data Replicatorのトークンを、以下のように一度設定します。
alter persistent cache set token = 'value'
イベントフィードのダウンロード
これらの変更を行った後、定期的に実行されるInvantive SQLレプリケーションスクリプトには、通常、先頭付近に新しいイベントをダウンロードする文が含まれます。
alter persistent cache download feed
OEM向けトリクルロード(Webhook)の自動有効化
以下のInvantive PSQLブロックは、選択されたすべてのパーティション(Exact Onlineの企業など)について、Webhookをサポートするレプリケート対象テーブルに限定してトリクルロードを有効にします。
Invantive PSQLのサンプルコード:
begin
for r_trickle in
( --
-- トリクルロードが利用可能だがまだ有効化されていない
-- すべてのテーブルに対してトリクルロードを有効化します。
--
-- Webhookをサポートする(したがってトリクルロードも
-- サポートする)レプリケート対象テーブルをすべて選択します。
-- トリクルロードがまだ有効化されていない1つ以上の
-- テーブルパーティション(Exact Onlineの企業など)を
-- 持つテーブルのみに限定します。
--
-- 初回実行時の想定実行時間(秒): パーティション(企業)数の5倍。
-- 初回実行以降の想定実行時間(秒): 1。
--
select distinct
'alter persistent cache set table '
|| tbe.tbe_full_qualified_name
|| ' approach trickle'
stmt
from dc_tables@datacache tbe
join dc_table_partitions@DataCache tpn
on tpn.tbe_id = tbe.tbe_id
and tpn.tpt_seeding_approach_used_code = 'C' /* 完了。 */
join SYSTEMTABLES@DataDictionary ste
on ste.full_qualified_name = tbe.tbe_full_qualified_name
and ste.webhook_topic is not null
--
-- すべてのXMLテーブルは、いずれにせよ
-- Webhookを持たないためスキップします。
--
where tbe.tbe_full_qualified_name like '%REST%'
)
loop
execute immediate r_trickle.stmt;
end loop;
end;
Webhookが利用できない場合は、スマートサンプリング(smart sampling)アプローチの使用を検討できます。また、テーブルの行数が50,000行を超えており、サーバー側フィルタリングが利用可能な場合は、以下のようなクエリを使用してレプリケーションのパフォーマンスを改善できます。
create or replace table REPLICA@DATABASE
as
select ... from OLD
union
distinct on PK
select ... from NEW where MODIFIED > date
もう1つの代替手段は、2つのテーブルの内容を一致させるsynchronize文の使用です。詳しくはSQL文法をご参照ください。
OEM向けメッセージのダウンロード
Webhookイベントが発生すると、Invantive Cloudによってキューにメッセージが登録されます。このキューの内容は、Invantive Data Replicatorによってダウンロードし処理できます。
OEMの場合、正しいメッセージがダウンロードされるようにするには、ダウンロード時にデータコンテナIDを指定する必要があります。指定しないと、最初の環境がすべてのメッセージをダウンロードしてしまいます。これらのメッセージは処理されませんが、ダウンロードされてしまうと、残りの環境ではそれらを利用できなくなります。
Invantive PSQLのサンプルコード:
declare
l_license_contract_code varchar2 := 'L9999999999';
l_secret_token varchar2 := 'secret';
begin
--
-- 想定実行時間: メッセージ1,000件あたり1秒。
--
for r_dcr
in
( select 'alter persistent cache download feed LICENSE CONTRACT CODE '''
|| l_license_contract_code
|| ''''
|| ' token '''
|| l_secret_token
|| ''''
|| ' datacontainer '''
|| dcr.dcr_name
|| ''''
stmt
from ( select distinct
dcr.dcr_name
from dc_table_partitions@DataCache tpn
join dc_tables@DataCache tbe
on tbe.tbe_id = tpn.tbe_id
join dc_data_containers@DataCache dcr
on dcr.dcr_id = tbe.dcr_id
where tpn.tpt_seeding_approach_used_code = 'T'
) dcr
order
by dcr.dcr_name
)
loop
execute immediate r_dcr.stmt;
end loop;
end;
Webhookストーム
Exact Onlineには「Webhookストーム」があります。バックアップの復元、アップグレード、大規模な企業での期間締め処理などのイベントは、1時間以内に数百万件のメッセージをトリガーすることがあります。意味のあるレート制限は適用されていないため、適切に設計されていないと、Webhookレシーバーが一種の「分散型サービス拒否(DDoS)」攻撃を受けたような状態になる可能性があります。
Invantive Cloudは1時間あたり1,000万件のイベントを処理できます。これを超えると、イベントはスロットリングされ、時間をかけて処理されます。例えば、20,000のExact Online企業にまたがって60分間に1億件のイベントが発生した場合、Invantiveがそれに追いつき、イベントを利用可能にするまでに10時間かかります。
とはいえ、配信されるWebhookイベントの平均数は1時間あたり50,000件であり、最大処理能力に対してわずか0.5%にすぎません。Webhookストームは実際に発生しますが、Data Replicatorによるイベント受信が大幅に遅延することはめったにありません。
複数イベントの重複排除
Exact Onlineは、1つの変更に対して複数のイベントをトリガーすることが知られています。例えば、トランザクションに含まれる行ごとに、トランザクションヘッダーに対するWebhookイベントが送信されます。これは時間の経過とともに改善されており、現在ではほとんど、あるいはまったく重複は見られません。余分な重複があった場合は、設定可能な時間間隔内に受信すれば、Invantive Cloudによって自動的に重複排除されます。この時間間隔はデフォルトで15分に設定されています。
OEM向けトークンのセキュリティ
イベントフィードを取得するためのトークンは、通常、バッチジョブからの取得を可能にするため、以下のようにData Replicatorのリポジトリに永続的に保存されます。
alter persistent cache set token = 'value'
しかし、一部のOEMでは、エンドユーザーがData Replicatorのリポジトリデータベースに直接アクセスできるようにしています。トークンへのアクセスは、攻撃経路(attack vector)の追加要素となり得ます。
そのため、このサンプルではトークンはデータベースに永続的に保存されていません。代わりに、トークンはスクリプト内に保存されています。セキュリティを高めるために、トークン文字列に標準のデバイスキー暗号化を追加することもできます。Exact Onlineの場合、Webhookに実際のビジネス情報がほとんど、あるいはまったく含まれないため、一般的にはこれは必要ありません。
トリクルロードの有効化状況の確認
Exact Onlineでは、WebhookSubscriptionsを使用して、現在有効化されているWebhookを確認できます。
select /*+ ods(false) http_disk_cache(false) http_memory_cache(false) */
*
from WebhookSubscriptions
例:
Webhookイベントのルーティングの確認
Exact Onlineでトリクルロードを最初に有効化した後、実際のレプリケーションが完全コピーではなく増分トリクルロードを使用して行われるようになるまでには、しばらく時間がかかります。Invantive Data Replicatorがループを閉じるには、Exact Onlineからのハートビート信号が必要です。Exact Online企業(パーティション)とレプリケート対象テーブルの組み合わせに対してWebhookイベントのメッセージが一切受信されていない間は、データ損失を避けるため、レプリケーションは完全コピーを使い続けます。
以下のコードは、Exact Onlineのaccounts内の要素を変更し、関連するメッセージが届くことを確認することで、イベント受信のループをテストするのに役立ちます。
--
-- 例えばaccountsを使用して、メッセージの取得をテストします。
--
update exactonlinerest..accounts
set name = name || '!'
where name like 'Belastingdienst%'
--
-- 変更を元に戻します。
--
update exactonlinerest..accounts
set name = replace(name, '!', '')
where name like 'Belastingdienst%!'
--
-- その後:
-- * 3分待ちます。
-- * 上記のフィードダウンロードを実行します。
-- * 受信したメッセージの内容を確認します。
--
select *
from dc_incoming_messages@DataCache
例:
手動でループを強制的に閉じたい場合は、コンサルタントにお問い合わせください。


