Resumé
Datareplikering med drypbelastning (trickle loading) på Invantive Data Replicator (enten OEM eller almindelig) kan reducere belastningen på Exact Online-økosystemet betydeligt og reducere replikeringstiden for Exact Online-tabeller. Denne note giver en tilgang og praktiske forespørgsler til nemt at opsætte og vedligeholde datareplikering for store mængder virksomheder og kunder. Tilgangen skalerer ud over 5.000 virksomheder, forudsat at der er tilstrækkelige ressourcer til rådighed.
Datareplikeringsydeevne og OEM
Invantive Data Replicator anvendes i stigende grad i store miljøer med datamængder på over 1 terabyte. Det drejer sig typisk om tusindvis af partitioner på platforme som Exact Online-virksomheder, Loket-lønvirksomheder eller Visma.net-virksomheder. Datareplikering bør opnå ét eller begge af følgende:
- Øge ydeevnen for forespørgsler, samtidig med at belastningen på API-økosystemer reduceres.
- Muliggøre brugen af værktøjer, der ikke understøtter Invantive SQL-drivere eller
ADO.NET.
Selve replikeringsprocessen kan udgøre en reel ressourcebelastning for dine cloud-partnere på grund af antallet af partitioner (virksomheder) og mængden af data. Derfor tilbyder Invantive en række optimeringsstrategier til at reducere replikeringstiden og samtidig mindske belastningen på din leverandørs API-økosystem.
Den mest populære metode er brugen af “drypbelastning” (trickle loading). Drypbelastning er en inkrementel strategi: efter den indledende indlæsning af et komplet datasæt anvendes kun ændringer, bestående af sletninger, indsættelser og opdateringer.
Informationsstrømmen fra cloud-platforme med drypbelastning er vist nedenfor som den afvigende strøm gennem “Receivers”:
Særligt ved store datamængder er kun få procent “varme”, mens alle andre data er i hvile og opbevares til fremtidig brug.
På cloud-platforme hentes disse ændringer (deltaer) generelt fra webhook-hændelser. På databaseplatforme hentes disse ændringer generelt fra databasetriggere og/eller transaktionslogfiler, såsom Oracle redo-logs.
Specifikt for OEM-implementeringer er der generelt dusinvis af miljøer, der deler én OEM-licensaftalekode. Ofte tilbydes der også hosting til kunder, der medbringer deres egen Invantive-licens (“BYOL” eller “Bring Your Own License”). Konfiguration og automatisk vedligeholdelse af webhooks i sådanne miljøer kræver ekstra omhu for at undgå gentagne arbejdsindsatser, når der tilføjes virksomheder.
Følgende kode hjælper dig med at optimere aktiveringen og vedligeholdelsen af drypbelastning for store mængder af forskellige kunder, der betjenes via OEM. Vi har brugt webhooks på Exact Online til at illustrere koden.
Standardbrug af drypbelastning (webhooks)
Standardbrugen af drypbelastning er forklaret i et andet emne, men her er de generelle trin:
Opsætning
For almindelige interne implementeringer med få ændringer i de tilsluttede cloud-platforme og 1 eller 1.000 partitioner udføres aktiveringen af drypbelastning typisk én gang ved hjælp af følgende sætning pr. tabel:
--
-- Vælg alle kvalificerede virksomheder/partitioner.
--
use all
--
-- Aktivér drypbelastning for en bestemt tabel.
--
alter persistent cache set table NAME approach trickle
efterfulgt én gang af indstillingen af det Invantive Data Replicator-token, der bruges til godkendelse ved download af hændelser, ved hjælp af:
alter persistent cache set token = 'value'
Download af hændelsesfeed
Når disse ændringer er foretaget, indeholder det regelmæssigt kørende Invantive SQL-replikeringsscript typisk et sted øverst en sætning til at downloade nye hændelser:
alter persistent cache download feed
Automatisk aktivering af drypbelastning (webhooks) for OEM
Følgende Invantive PSQL-blok aktiverer drypbelastning for alle valgte partitioner (såsom Exact Online-virksomheder), begrænset til de replikerede tabeller, der understøtter webhooks.
Eksempelkode i Invantive PSQL:
begin
for r_trickle in
( --
-- Aktivér drypbelastning for alle tabeller, hvor
-- drypbelastning er tilgængelig, men endnu ikke aktiveret.
--
-- Vælger alle replikerede tabeller, der understøtter webhooks (og
-- derfor drypbelastning). Begræns
-- til de tabeller, der har en eller flere tabelpartitioner
-- (såsom Exact Online-virksomheder), hvor drypbelastning
-- endnu ikke er aktiveret.
--
-- Forventet køretid ved første kørsel i sekunder: 5 gange antal partitioner (virksomheder).
-- Forventet køretid efter første kørsler i sekunder: 1.
--
select distinct
'alter persistent cache set table '
|| tbe.tbe_full_qualified_name
|| ' approach trickle'
stmt
from dc_tables@datacache tbe
join dc_table_partitions@DataCache tpn
on tpn.tbe_id = tbe.tbe_id
and tpn.tpt_seeding_approach_used_code = 'C' /* Komplet. */
join SYSTEMTABLES@DataDictionary ste
on ste.full_qualified_name = tbe.tbe_full_qualified_name
and ste.webhook_topic is not null
--
-- Spring alle XML-tabeller over, da ingen af dem
-- alligevel har webhooks.
--
where tbe.tbe_full_qualified_name like '%REST%'
)
loop
execute immediate r_trickle.stmt;
end loop;
end;
Når webhooks ikke er tilgængelige, kan du overveje at bruge den smarte samplingtilgang. Alternativt, når tabeller har mere end 50.000 rækker, og server-side filtrering er tilgængelig, kan du bruge forespørgsler af følgende type for at forbedre replikeringsydeevnen:
create or replace table REPLICA@DATABASE
as
select ... from OLD
union
distinct on PK
select ... from NEW where MODIFIED > date
Et andet alternativ er brugen af synchronize-sætningen, der tilpasser indholdet af de to tabeller. Se venligst SQL-grammatikken for yderligere instruktioner.
Download af meddelelser for OEM
Webhook-hændelser fører til, at der registreres meddelelser af Invantive Cloud i en kø. Indholdet af denne kø kan downloades og behandles af Invantive Data Replicator.
For OEM’er skal data-container-ID’et angives til downloadet for at sikre, at de rigtige meddelelser downloades. Ellers vil det første miljø downloade alle meddelelser. Disse meddelelser vil ikke blive behandlet, men ved at downloade dem bliver de utilgængelige for de resterende miljøer.
Eksempelkode i Invantive PSQL:
declare
l_license_contract_code varchar2 := 'L9999999999';
l_secret_token varchar2 := 'secret';
begin
--
-- Forventet køretid: 1 sekund pr. 1.000 meddelelser.
--
for r_dcr
in
( select 'alter persistent cache download feed LICENSE CONTRACT CODE '''
|| l_license_contract_code
|| ''''
|| ' token '''
|| l_secret_token
|| ''''
|| ' datacontainer '''
|| dcr.dcr_name
|| ''''
stmt
from ( select distinct
dcr.dcr_name
from dc_table_partitions@DataCache tpn
join dc_tables@DataCache tbe
on tbe.tbe_id = tpn.tbe_id
join dc_data_containers@DataCache dcr
on dcr.dcr_id = tbe.dcr_id
where tpn.tpt_seeding_approach_used_code = 'T'
) dcr
order
by dcr.dcr_name
)
loop
execute immediate r_dcr.stmt;
end loop;
end;
Webhook-storme
Exact Online har “webhook-storme”. Hændelser såsom gendannelse af en sikkerhedskopi, opgraderinger eller lukning af perioder på store virksomheder kan udløse millioner af meddelelser inden for en time. Der anvendes ingen meningsfuld hastighedsbegrænsning, så hvis din webhook-modtager ikke er korrekt designet, kan den opleve en slags “Distributed Denial of Service”-angreb.
Invantive Cloud kan håndtere 10 millioner hændelser i timen. Hvis dette overskrides, bliver hændelser drosset og håndteret over tid. For eksempel, hvis der opstår 100 millioner hændelser på tværs af 20.000 Exact Online-virksomheder inden for 60 minutter, vil det tage Invantive 10 timer at indhente efterslæbet og gøre hændelserne tilgængelige for dig.
Det gennemsnitlige antal leverede webhook-hændelser er dog 50.000 pr. time, kun 0,5 % sammenlignet med den maksimale håndteringskapacitet. Webhook-storme forekommer, men vil sjældent forsinke modtagelsen af dine hændelser hos Data Replicator væsentligt.
Deduplikering af flere hændelser
Exact Online er kendt for at udløse flere hændelser for én ændring. For eksempel sendes der en webhook-hændelse for transaktionshovedet for hver linje, der indgår i en transaktion. Dette er blevet forbedret over tid, og i øjeblikket ser vi få eller ingen dubletter. Eventuelle overskydende dubletter deduplikeres automatisk af Invantive Cloud, når de modtages inden for et konfigurerbart tidsinterval. Tidsintervallet er som standard sat til 15 minutter.
Token-sikkerhed for OEM
Token’et til at hente feedet med hændelser gemmes typisk permanent i Data Replicator-repositoryet for at muliggøre hentning fra batchjobs, ved hjælp af:
alter persistent cache set token = 'value'
Nogle OEM’er tillader dog deres slutbrugere direkte adgang til Data Replicator-repository-databasen. Adgang til token’et kan udgøre et yderligere element i en angrebsvektor.
Derfor gemmes token’et ikke permanent i databasen i dette eksempel. I stedet gemmes token’et i scriptet. Du kan tilføje standard enhedsnøglekryptering på token-strengen for bedre sikkerhed. På Exact Online er dette generelt ikke nødvendigt, da Exact Online-webhooks indeholder lidt til ingen reel forretningsinformation.
Kontrollér aktivering af drypbelastning
På Exact Online kan du kontrollere de aktuelt aktiverede webhooks ved hjælp af WebhookSubscriptions:
select /*+ ods(false) http_disk_cache(false) http_memory_cache(false) */
*
from WebhookSubscriptions
For eksempel:
Kontrollér routing af webhook-hændelser
Efter den indledende aktivering af drypbelastning på Exact Online vil det tage noget tid, før selve replikeringen udføres ved hjælp af inkrementel drypbelastning i stedet for en komplet kopi. Invantive Data Replicator kræver et heartbeat-signal fra Exact Online for at lukke løkken. Så længe der ikke er modtaget meddelelser for webhook-hændelser på en kombination af Exact Online-virksomhed (partition) og replikeret tabel, vil replikeringen fortsætte med at bruge en komplet kopi for at undgå datatab.
Følgende kode hjælper dig med at teste løkken for modtagelse af hændelser ved at ændre et element i Exact Online accounts og kontrollere, at den relaterede meddelelse ankommer:
--
-- Test hentning af meddelelser, for eksempel ved hjælp af accounts.
--
update exactonlinerest..accounts
set name = name || '!'
where name like 'Belastingdienst%'
--
-- Fortryd ændring.
--
update exactonlinerest..accounts
set name = replace(name, '!', '')
where name like 'Belastingdienst%!'
--
-- Derefter:
-- * Vent 3 minutter.
-- * Kør download feed ovenfor.
-- * Kontrollér indholdet af indgående meddelelser.
--
select *
from dc_incoming_messages@DataCache
For eksempel:
Hvis du ønsker at tvangslukke løkken manuelt, bedes du kontakte en konsulent.


