Aktiver trickle-loading av webhook på OEM-lisenser

Sammendrag

Datareplikering med trickle loading (dryppasting) på Invantive Data Replicator (enten OEM eller vanlig) kan betydelig redusere belastningen på Exact Online-økosystemet og redusere replikeringstiden for Exact Online-tabeller. Dette notatet gir en tilnærming og praktiske spørringer for enkelt å sette opp og vedlikeholde datareplikering for store mengder selskaper og kunder. Tilnærmingen skalerer utover 5 000 selskaper, forutsatt tilstrekkelige ressurser.

Ytelse for datareplikering og OEM

Invantive Data Replicator blir i økende grad tatt i bruk i store miljøer, med datavolumer som overstiger 1 terabyte. Det gjelder som regel tusenvis av partisjoner på plattformer som Exact Online-selskaper, Loket lønnsselskaper eller Visma.net-selskaper. Datareplikering bør oppnå ett eller begge av følgende:

  • Øke ytelsen til spørringer, samtidig som belastningen på API-økosystemer reduseres.
  • Muliggjøre bruk av verktøy som ikke støtter Invantive SQL-drivere eller ADO.NET.

Selve replikeringsprosessen kan være en reell ressursbelastning for skypartnerne dine, gitt antallet partisjoner (selskaper) og data. Derfor tilbyr Invantive en rekke optimaliseringsstrategier for å redusere replikeringstiden samtidig som belastningen på leverandørens API-økosystem reduseres.

Mest populært er bruken av «trickle loading». Trickle loading er en inkrementell strategi: etter en innledende innlasting av et fullstendig datasett brukes det kun endringer, bestående av slettinger, innsettinger og oppdateringer.

Informasjonsflyten fra skyplattformer med trickle loading vises nedenfor som den avvikende flyten gjennom «Receivers»:

Spesielt for store datasett er bare noen få prosent «varme», mens alle andre data er i ro og lagret for fremtiden.

På skyplattformer hentes disse endringene (deltaene) som regel fra webhook-hendelser. På databaseplattformer hentes disse endringene vanligvis fra databasetriggere og/eller transaksjonslogger, som Oracle redo-logger.

Spesielt for OEM-distribusjoner er det som regel dusinvis av miljøer som deler én OEM-lisensavtalekode. I tillegg tilbys det ofte hosting til kunder som bruker sin egen Invantive-lisens («BYOL» eller «Bring Your Own License»). Konfigurering og automatisk vedlikehold av webhooks i slike miljøer krever litt ekstra oppmerksomhet for å unngå å gjenta arbeidsoppgaver når selskaper legges til.

Følgende kode hjelper deg med å optimalisere aktivering og vedlikehold av trickle loading for store volumer av ulike kunder som betjenes via OEM. Vi har brukt webhooks på Exact Online for å illustrere koden.

Standard bruk av trickle loading (webhooks)

Standard bruk av trickle loading er forklart i et annet emne, men dette er de generelle trinnene:

Oppsett

For vanlige interne distribusjoner med få endringer i tilkoblede skyplattformer og 1 eller 1 000 partisjoner, gjøres aktiveringen av trickle loading vanligvis én gang per tabell med følgende setning:

--
-- Velg alle kvalifiserte selskaper/partisjoner.
--
use all

--
-- Aktiver trickle loading for en bestemt tabell.
--
alter persistent cache set table NAME approach trickle

fulgt av én gang å angi Invantive Data Replicator-tokenet som brukes til autentisering ved nedlasting av hendelser, ved hjelp av:

alter persistent cache set token = 'value'

Last ned hendelsesstrøm

Etter at disse endringene er gjort, inneholder det regelmessig kjørende Invantive SQL-replikeringsskriptet som regel et sted øverst en setning for å laste ned nye hendelser:

alter persistent cache download feed

Automatisk aktivering av trickle loading (webhooks) for OEM

Følgende Invantive PSQL-blokk aktiverer trickle loading for alle valgte partisjoner (som Exact Online-selskaper), begrenset til de replikerte tabellene som støtter webhooks.

Eksempelkode i Invantive PSQL:

begin
 for r_trickle in
 ( --
   -- Aktiver trickle loading for alle tabeller der
   -- trickle loading er tilgjengelig, men ikke aktivert ennå.
   --
   -- Velger alle replikerte tabeller som støtter webhooks (og
   -- dermed trickle loading). Begrens
   -- til de tabellene som har én eller flere tabellpartisjoner
   -- (som Exact Online-selskaper) der trickle loading
   -- ikke er aktivert ennå.
   --
   -- Forventet kjøretid ved første kjøring i sekunder: 5 ganger antall partisjoner (selskaper).
   -- Forventet kjøretid etter første kjøring i sekunder: 1.
   --
   select distinct
          'alter persistent cache set table '
          || tbe.tbe_full_qualified_name
          || '  approach trickle'
          stmt
   from   dc_tables@datacache tbe    
   join   dc_table_partitions@DataCache tpn
   on     tpn.tbe_id = tbe.tbe_id
   and    tpn.tpt_seeding_approach_used_code = 'C' /* Complete. */
   join   SYSTEMTABLES@DataDictionary ste
   on     ste.full_qualified_name = tbe.tbe_full_qualified_name
   and    ste.webhook_topic is not null
   --
   -- Hopp over alle XML-tabeller, siden ingen av dem
   -- har webhooks uansett.
   --
   where  tbe.tbe_full_qualified_name like '%REST%'
 )
 loop
   execute immediate r_trickle.stmt;
 end loop;
end;

Når webhooks ikke er tilgjengelig, kan du vurdere å bruke smart samplingstilnærming. Alternativt, når tabeller har mer enn 50 000 rader og serverside-filtrering er tilgjengelig, kan du bruke spørringer av følgende type for å forbedre replikeringsytelsen:

create or replace table REPLICA@DATABASE
as
select ... from OLD
union
distinct on PK
select ... from NEW where MODIFIED > date

Et annet alternativ er å bruke synchronize-setningen, som samsvarer innholdet i de to tabellene. Se SQL-grammatikken for flere instruksjoner.

Last ned meldinger for OEM

Webhook-hendelser fører til at meldinger registreres av Invantive Cloud i en kø. Innholdet i denne køen kan lastes ned og behandles av Invantive Data Replicator.

For OEM-er, for å sikre at de riktige meldingene lastes ned, må data-container-ID-en oppgis ved nedlasting. Ellers vil det første miljøet laste ned alle meldingene. Disse meldingene vil ikke bli behandlet, men nedlasting av dem gjør dem utilgjengelige for de gjenværende miljøene.

Eksempelkode i Invantive PSQL:

declare
 l_license_contract_code varchar2 := 'L9999999999';
 l_secret_token          varchar2 := 'secret';
begin
 --
 -- Forventet kjøretid: 1 sekund per 1 000 meldinger.
 --
 for r_dcr
 in
 ( select 'alter persistent cache download feed LICENSE CONTRACT CODE '''
          || l_license_contract_code
          || ''''
          || ' token '''
          || l_secret_token
          || ''''
          || ' datacontainer '''
          || dcr.dcr_name
          || ''''
          stmt
   from   ( select distinct
                   dcr.dcr_name
            from   dc_table_partitions@DataCache tpn
            join   dc_tables@DataCache tbe
            on     tbe.tbe_id = tpn.tbe_id
            join   dc_data_containers@DataCache dcr
            on     dcr.dcr_id = tbe.dcr_id
            where  tpn.tpt_seeding_approach_used_code = 'T'
          ) dcr
   order
   by     dcr.dcr_name
 )
 loop
   execute immediate r_dcr.stmt;
 end loop;
end;

Webhook-stormer

Exact Online har «webhook-stormer». Hendelser som gjenoppretting av en sikkerhetskopi, oppgraderinger eller lukking av perioder på store selskaper kan utløse millioner av meldinger i løpet av en time. Det finnes ingen meningsfull hastighetsbegrensning, så hvis det er dårlig utformet, kan webhook-mottakeren din oppleve en slags «Distributed Denial of Service»-angrep.

Invantive Cloud kan håndtere 10 millioner hendelser per time. Når dette overskrides, blir hendelser strupet og håndtert over tid. For eksempel, når 100 millioner hendelser oppstår på tvers av 20 000 Exact Online-selskaper innen 60 minutter, vil det ta Invantive 10 timer å ta igjen og gjøre hendelsene tilgjengelige for deg.

Det gjennomsnittlige antallet leverte webhook-hendelser er imidlertid 50 000 per time, bare 0,5 % sammenlignet med maksimal håndteringskapasitet. Webhook-stormer forekommer, men vil sjelden forsinke mottaket av hendelsene dine i Data Replicator betydelig.

Deduplisering av flere hendelser

Exact Online er kjent for å utløse flere hendelser for én endring. For eksempel vil en webhook-hendelse bli sendt for transaksjonshodet for hver linje som inngår i en transaksjon. Dette har blitt bedre over tid, og i dag ser vi lite til ingen duplikater. Eventuelle overflødige duplikater deduplisres automatisk av Invantive Cloud når de mottas innenfor et konfigurerbart tidsintervall. Tidsintervallet er som standard satt til 15 minutter.

Token-sikkerhet for OEM

Tokenet for å hente strømmen med hendelser lagres vanligvis permanent i Data Replicator-repositoriet for å muliggjøre henting fra batch-jobber, ved hjelp av:

alter persistent cache set token = 'value'

Noen OEM-er tillater imidlertid at sluttbrukerne deres får direkte tilgang til Data Replicator-repositoriets database. Tilgang til tokenet kan utgjøre et ekstra element i en angrepsvektor.

Derfor lagres ikke tokenet permanent i databasen i dette eksempelet. I stedet lagres tokenet i skriptet. Du kan legge til standard enhetsnøkkelkryptering på token-strengen for bedre sikkerhet. På Exact Online er dette generelt ikke nødvendig, siden Exact Online-webhooks inneholder lite til ingen faktisk forretningsinformasjon.

Kontroller aktivering av trickle loading

På Exact Online kan du sjekke de aktiverte webhooks ved hjelp av WebhookSubscriptions:

select /*+ ods(false) http_disk_cache(false) http_memory_cache(false) */
      *
from   WebhookSubscriptions

For eksempel:

Kontroller ruting av webhook-hendelser

Etter innledende aktivering av trickle loading på Exact Online, vil det ta litt tid før den faktiske replikeringen gjøres med inkrementell trickle loading i stedet for en fullstendig kopi. Invantive Data Replicator krever et hjerteslagsignal fra Exact Online for å lukke sløyfen. Så lenge det ikke er mottatt noen meldinger for webhook-hendelser på en kombinasjon av Exact Online-selskap (partisjon) og replikert tabell, vil replikeringen fortsette å bruke en fullstendig kopi for å unngå datatap.

Følgende kode hjelper deg med å teste sløyfen for mottak av hendelser ved å endre et element i Exact Online accounts og sjekke at den tilhørende meldingen ankommer:

--
-- Test henting av meldinger, for eksempel ved hjelp av accounts.
--
update exactonlinerest..accounts 
set    name = name || '!' 
where  name like 'Belastingdienst%'
 
--
-- Reverser endring.
--
update exactonlinerest..accounts 
set    name = replace(name, '!', '') 
where  name like 'Belastingdienst%!'
 
--
-- Deretter:
-- * Vent 3 minutter.
-- * Kjør download feed ovenfor.
-- * Sjekk innholdet i innkommende meldinger.
--
select *
from   dc_incoming_messages@DataCache

For eksempel:

Hvis du ønsker å manuelt tvinge sløyfen lukket, ta kontakt med en konsulent.