Webhook-Trickle-Loading bei OEM-Lizenzen aktivieren

Zusammenfassung

Die Datenreplikation mittels Trickle Loading im Invantive Data Replicator (sowohl OEM als auch regulär) kann die Last auf dem Exact Online Ökosystem erheblich reduzieren und die Replikationszeit für Exact Online Tabellen verkürzen. Diese Anleitung bietet einen Ansatz sowie praktische Abfragen, um die Datenreplikation für große Mengen an Firmen und Kunden einfach einzurichten und zu pflegen. Der Ansatz skaliert bei ausreichenden Ressourcen auf mehr als 5.000 Firmen.

Leistung der Datenreplikation und OEM

Der Invantive Data Replicator wird zunehmend in großen Umgebungen eingesetzt, mit Datenmengen von über einem Terabyte. Dabei handelt es sich typischerweise um Tausende von Partitionen von Plattformen wie Exact Online Firmen, Loket Lohnbuchhaltungsfirmen oder Visma.net Firmen. Die Datenreplikation sollte eines oder beide der folgenden Ziele erreichen:

  • Die Leistung von Abfragen erhöhen und gleichzeitig die Belastung der API-Ökosysteme verringern.
  • Die Nutzung von Tools ermöglichen, die keine Invantive-SQL-Treiber oder ADO.NET unterstützen.

Der Replikationsprozess selbst kann angesichts der Menge an Partitionen (Firmen) und Daten eine echte Ressourcenbelastung für Ihre Cloud-Partner darstellen. Daher bietet Invantive eine Reihe von Optimierungsstrategien, um die Replikationszeit zu verkürzen und gleichzeitig die Last auf dem API-Ökosystem Ihres Anbieters zu reduzieren.

Am beliebtesten ist die Verwendung von „Trickle Loading“. Trickle Loading ist eine inkrementelle Strategie: Nach dem anfänglichen Laden eines vollständigen Datensatzes werden nur noch Änderungen angewendet, bestehend aus Löschungen, Einfügungen und Aktualisierungen.

Der Informationsfluss von Cloud-Plattformen mit Trickle Loading wird unten als der abweichende Fluss durch „Receiver“ dargestellt:

Gerade bei großen Datenmengen ist nur ein geringer Prozentsatz „heiß“, während alle übrigen Daten ruhen und für die Zukunft gespeichert werden.

Auf Cloud-Plattformen werden diese Änderungen (Deltas) in der Regel aus Webhook-Ereignissen bezogen. Auf Datenbankplattformen stammen diese Änderungen in der Regel aus Datenbank-Triggern und/oder Transaktionsprotokollen wie Oracle Redo-Logs.

Speziell bei OEM-Deployments gibt es in der Regel Dutzende von Umgebungen, die sich einen OEM-Lizenzvertragscode teilen. Zudem wird Kunden häufig ein Hosting angeboten, bei dem sie ihre eigene Invantive-Lizenz mitbringen („BYOL“ bzw. „Bring Your Own License“). Die Konfiguration und automatische Pflege von Webhooks in solchen Umgebungen erfordert zusätzliche Sorgfalt, um wiederholten Arbeitsaufwand beim Hinzufügen von Firmen zu vermeiden.

Der folgende Code hilft Ihnen, die Aktivierung und Pflege von Trickle Loading für große Mengen unterschiedlicher Kunden zu optimieren, die über OEM bedient werden. Wir haben Webhooks auf Exact Online verwendet, um den Code zu veranschaulichen.

Standardmäßige Nutzung von Trickle Loading (Webhooks)

Die standardmäßige Nutzung von Trickle Loading wird in einem anderen Thema erläutert, hier jedoch die allgemeinen Schritte:

Einrichtung

Für reguläre, intern genutzte Deployments mit wenigen Änderungen in den angebundenen Cloud-Plattformen und 1 oder 1.000 Partitionen erfolgt die Aktivierung von Trickle Loading in der Regel einmalig pro Tabelle mit folgender Anweisung:

--
-- Alle berechtigten Firmen/Partitionen auswählen.
--
use all

--
-- Trickle Loading für eine bestimmte Tabelle aktivieren.
--
alter persistent cache set table NAME approach trickle

gefolgt von einer einmaligen Festlegung des Invantive Data Replicator Tokens, das zur Authentifizierung beim Herunterladen von Ereignissen verwendet wird:

alter persistent cache set token = 'value'

Ereignis-Feed herunterladen

Nachdem diese Änderungen vorgenommen wurden, enthält das regelmäßig ausgeführte Invantive-SQL-Replikationsskript typischerweise oben eine Anweisung zum Herunterladen neuer Ereignisse:

alter persistent cache download feed

Automatische Aktivierung von Trickle Loading (Webhooks) für OEM

Der folgende Invantive-PSQL-Block aktiviert Trickle Loading für alle ausgewählten Partitionen (wie z. B. Exact Online Firmen), beschränkt auf die replizierten Tabellen, die Webhooks unterstützen.

Beispielcode in Invantive PSQL:

begin
 for r_trickle in
 ( --
   -- Trickle Loading für alle Tabellen aktivieren, für die
   -- Trickle Loading verfügbar, aber noch nicht aktiviert ist.
   --
   -- Wählt alle replizierten Tabellen aus, die Webhooks (und
   -- somit Trickle Loading) unterstützen. Beschränkung
   -- auf jene Tabellen, die eine oder mehrere Tabellenpartitionen
   -- (wie z. B. Exact Online Firmen) haben, für die Trickle Loading
   -- noch nicht aktiviert ist.
   --
   -- Erwartete Laufzeit beim ersten Durchlauf in Sekunden: 5-mal Anzahl der Partitionen (Firmen).
   -- Erwartete Laufzeit nach dem ersten Durchlauf in Sekunden: 1.
   --
   select distinct
          'alter persistent cache set table '
          || tbe.tbe_full_qualified_name
          || '  approach trickle'
          stmt
   from   dc_tables@datacache tbe    
   join   dc_table_partitions@DataCache tpn
   on     tpn.tbe_id = tbe.tbe_id
   and    tpn.tpt_seeding_approach_used_code = 'C' /* Complete. */
   join   SYSTEMTABLES@DataDictionary ste
   on     ste.full_qualified_name = tbe.tbe_full_qualified_name
   and    ste.webhook_topic is not null
   --
   -- Alle XML-Tabellen überspringen, da keine von ihnen
   -- ohnehin Webhooks besitzt.
   --
   where  tbe.tbe_full_qualified_name like '%REST%'
 )
 loop
   execute immediate r_trickle.stmt;
 end loop;
end;

Wenn Webhooks nicht verfügbar sind, können Sie die Verwendung des Smart-Sampling-Ansatzes in Betracht ziehen. Alternativ können Sie, wenn Tabellen mehr als 50.000 Zeilen enthalten und serverseitige Filterung verfügbar ist, Abfragen folgender Art verwenden, um die Replikationsleistung zu verbessern:

create or replace table REPLICA@DATABASE
as
select ... from OLD
union
distinct on PK
select ... from NEW where MODIFIED > date

Eine weitere Alternative ist die Verwendung der synchronize-Anweisung, die die Inhalte der beiden Tabellen angleicht. Weitere Hinweise finden Sie in der SQL-Grammatik.

Nachrichten für OEM herunterladen

Ein Webhook-Ereignis führt dazu, dass Nachrichten von Invantive Cloud in einer Warteschlange registriert werden. Der Inhalt dieser Warteschlange kann vom Invantive Data Replicator heruntergeladen und verarbeitet werden.

Bei OEMs muss die Data-Container-ID beim Download angegeben werden, um sicherzustellen, dass die richtigen Nachrichten heruntergeladen werden. Andernfalls lädt die erste Umgebung alle Nachrichten herunter. Diese Nachrichten werden nicht verarbeitet, aber durch das Herunterladen stehen sie den übrigen Umgebungen nicht mehr zur Verfügung.

Beispielcode in Invantive PSQL:

declare
 l_license_contract_code varchar2 := 'L9999999999';
 l_secret_token          varchar2 := 'secret';
begin
 --
 -- Erwartete Laufzeit: 1 Sekunde pro 1.000 Nachrichten.
 --
 for r_dcr
 in
 ( select 'alter persistent cache download feed LICENSE CONTRACT CODE '''
          || l_license_contract_code
          || ''''
          || ' token '''
          || l_secret_token
          || ''''
          || ' datacontainer '''
          || dcr.dcr_name
          || ''''
          stmt
   from   ( select distinct
                   dcr.dcr_name
            from   dc_table_partitions@DataCache tpn
            join   dc_tables@DataCache tbe
            on     tbe.tbe_id = tpn.tbe_id
            join   dc_data_containers@DataCache dcr
            on     dcr.dcr_id = tbe.dcr_id
            where  tpn.tpt_seeding_approach_used_code = 'T'
          ) dcr
   order
   by     dcr.dcr_name
 )
 loop
   execute immediate r_dcr.stmt;
 end loop;
end;

Webhook-Stürme

Exact Online kennt sogenannte „Webhook-Stürme“. Ereignisse wie das Wiederherstellen eines Backups, Upgrades oder das Schließen von Perioden bei großen Firmen können innerhalb einer Stunde Millionen von Nachrichten auslösen. Es gibt keine sinnvolle Ratenbegrenzung, sodass bei unsachgemäßer Gestaltung Ihr Webhook-Receiver eine Art „Distributed Denial of Service“-Angriff erleben könnte.

Invantive Cloud kann 10 Millionen Ereignisse pro Stunde verarbeiten. Bei Überschreitung werden Ereignisse gedrosselt und über die Zeit verteilt verarbeitet. Wenn beispielsweise 100 Millionen Ereignisse innerhalb von 60 Minuten über 20.000 Exact Online Firmen auftreten, benötigt Invantive 10 Stunden, um aufzuholen und die Ereignisse für Sie verfügbar zu machen.

Im Durchschnitt werden jedoch nur 50.000 Webhook-Ereignisse pro Stunde übermittelt, was lediglich 0,5 % der maximalen Verarbeitungskapazität entspricht. Webhook-Stürme kommen zwar vor, verzögern den Empfang Ihrer Ereignisse durch den Data Replicator jedoch nur selten nennenswert.

Deduplizierung mehrfacher Ereignisse

Es ist bekannt, dass Exact Online bei einer Änderung mehrere Ereignisse auslöst. Beispielsweise wird für jede in einer Transaktion enthaltene Zeile ein Webhook-Ereignis für den Transaktionskopf gesendet. Dies hat sich im Laufe der Zeit verbessert, und derzeit treten kaum noch Duplikate auf. Überzählige Duplikate werden von Invantive Cloud automatisch dedupliziert, wenn sie innerhalb eines konfigurierbaren Zeitintervalls eingehen. Das Zeitintervall ist standardmäßig auf 15 Minuten eingestellt.

Token-Sicherheit für OEM

Das Token zum Abrufen des Ereignis-Feeds wird in der Regel dauerhaft im Repository des Data Replicators gespeichert, damit es von Batch-Jobs abgerufen werden kann, und zwar mit:

alter persistent cache set token = 'value'

Einige OEMs erlauben ihren Endbenutzern jedoch den direkten Zugriff auf die Repository-Datenbank des Data Replicators. Der Zugriff auf das Token könnte ein zusätzliches Element für einen Angriffsvektor darstellen.

Daher wird das Token in diesem Beispiel nicht dauerhaft in der Datenbank gespeichert. Stattdessen wird das Token im Skript gespeichert. Sie können für mehr Sicherheit die standardmäßige Geräteschlüsselverschlüsselung auf die Token-Zeichenfolge anwenden. Bei Exact Online ist dies im Allgemeinen nicht erforderlich, da Exact Online Webhooks kaum oder keine tatsächlichen Geschäftsinformationen enthalten.

Aktivierung von Trickle Loading überprüfen

Bei Exact Online können Sie die aktuell aktivierten Webhooks mit WebhookSubscriptions überprüfen:

select /*+ ods(false) http_disk_cache(false) http_memory_cache(false) */
      *
from   WebhookSubscriptions

Zum Beispiel:

Routing von Webhook-Ereignissen überprüfen

Nach der anfänglichen Aktivierung von Trickle Loading bei Exact Online dauert es einige Zeit, bis die eigentliche Replikation tatsächlich inkrementell über Trickle Loading erfolgt, anstatt über eine vollständige Kopie. Der Invantive Data Replicator benötigt ein Heartbeat-Signal von Exact Online, um den Kreislauf zu schließen. Solange für eine Kombination aus Exact Online Firma (Partition) und replizierter Tabelle keine Nachrichten zu Webhook-Ereignissen eingegangen sind, verwendet die Replikation weiterhin eine vollständige Kopie, um Datenverlust zu vermeiden.

Der folgende Code hilft Ihnen, den Kreislauf für den Empfang von Ereignissen zu testen, indem Sie ein Element in accounts in Exact Online ändern und überprüfen, ob die zugehörige Nachricht ankommt:

--
-- Abruf von Nachrichten testen, zum Beispiel mithilfe von accounts.
--
update exactonlinerest..accounts 
set    name = name || '!' 
where  name like 'Belastingdienst%'
 
--
-- Änderung rückgängig machen.
--
update exactonlinerest..accounts 
set    name = replace(name, '!', '') 
where  name like 'Belastingdienst%!'
 
--
-- Dann:
-- * 3 Minuten warten.
-- * Den obigen Download-Feed ausführen.
-- * Inhalt der eingehenden Nachrichten überprüfen.
--
select *
from   dc_incoming_messages@DataCache

Zum Beispiel:

Falls Sie den Kreislauf manuell schließen möchten, wenden Sie sich bitte an einen Berater.