Aktivera trickle-laddning av webhook för OEM-licenser

Sammanfattning

Datareplikering med trickle loading i Invantive Data Replicator (antingen OEM eller vanlig) kan avsevärt minska belastningen på Exact Online-ekosystemet och förkorta replikeringstiden för Exact Online-tabeller. Denna artikel beskriver ett tillvägagångssätt och praktiska frågor för att enkelt sätta upp och underhålla datareplikering för stora mängder företag och kunder. Metoden skalar till mer än 5 000 företag, förutsatt att tillräckliga resurser finns tillgängliga.

Datareplikeringsprestanda och OEM

Invantive Data Replicator används i allt högre grad i stora miljöer, med datavolymer som överstiger 1 terabyte. Det handlar vanligtvis om tusentals partitioner från plattformar som Exact Online-företag, Loket lönebolag eller Visma.net-företag. Datareplikering bör uppnå ett eller båda av följande:

  • Öka prestandan vid frågor samtidigt som belastningen på API-ekosystem minskar.
  • Möjliggöra användning av verktyg som inte stöder Invantive SQL-drivrutiner eller ADO.NET.

Själva replikeringsprocessen kan vara en riktig resursdränering för dina molnpartner med tanke på antalet partitioner (företag) och mängden data. Därför erbjuder Invantive ett antal optimeringsstrategier för att minska replikeringstiden samtidigt som belastningen på din leverantörs API-ekosystem minskar.

Mest populärt är användningen av „trickle loading”. Trickle loading är en inkrementell strategi: efter att ett fullständigt datasats initialt har laddats in tillämpas endast ändringar, bestående av borttagningar, infogningar och uppdateringar.

Informationsflödet från molnplattformar med trickle loading visas nedan som det avvikande flödet genom „Receivers”:

Särskilt med stora datamängder är bara några få procent „heta”, medan all annan data är vilande och lagrad för framtiden.

På molnplattformar hämtas dessa ändringar (deltan) generellt från webhook-händelser. På databasplattformar hämtas dessa ändringar generellt från databasutlösare och/eller transaktionsloggar, såsom Oracles redo-loggar.

Specifikt för OEM-driftsättningar finns det vanligtvis dussintals miljöer som delar en och samma OEM-licensavtalskod. Dessutom erbjuds ofta hosting till kunder som har med sig sin egen Invantive-licens (“BYOL” eller “Bring Your Own License”). Att konfigurera och automatiskt underhålla webhooks i sådana miljöer kräver viss extra omsorg för att undvika att upprepa arbetsinsatser när företag läggs till.

Följande kod hjälper dig att optimera aktivering och underhåll av trickle loading för stora volymer av olika kunder som betjänas via OEM. Vi har använt webhooks i Exact Online för att illustrera koden.

Standardanvändning av Trickle Loading (Webhooks)

Standardanvändning av trickle loading förklaras i ett annat ämne, men här är de allmänna stegen:

Konfiguration

För vanliga interna driftsättningar med få ändringar i anslutna molnplattformar och 1 eller 1 000 partitioner görs aktiveringen av trickle loading vanligtvis en gång med följande sats per tabell:

--
-- Select all companies/partitions eligible.
--
use all

--
-- Enable trickle loading for a specific table.
--
alter persistent cache set table NAME approach trickle

följt en gång av att ställa in den Invantive Data Replicator-token som används för autentisering vid nedladdning av händelser, med:

alter persistent cache set token = 'value'

Ladda ner flöde av händelser

Efter att dessa ändringar har gjorts innehåller det regelbundet körda Invantive SQL-replikeringsskriptet vanligtvis någonstans högst upp en sats för att ladda ner nya händelser:

alter persistent cache download feed

Automatisk aktivering av Trickle Loading (Webhooks) för OEM

Följande Invantive PSQL-block aktiverar trickle loading för alla valda partitioner (till exempel Exact Online-företag), begränsat till de replikerade tabeller som stöder webhooks.

Exempelkod i Invantive PSQL:

begin
 for r_trickle in
 ( --
   -- Activate trickle loading for all tables for which
   -- trickle loading is available but not yet activated.
   --
   -- Selects all replicated tables that support webhooks (and
   -- therefore trickle loading). Restrict
   -- to those tables that have one or more table partitions
   -- (such as Exact Online companies) for which trickle loading
   -- is not yet activated.
   --
   -- Expected runtime on initial run in seconds: 5 times number of partitions (companies).
   -- Expected runtime after initial runs in seconds: 1.
   --
   select distinct
          'alter persistent cache set table '
          || tbe.tbe_full_qualified_name
          || '  approach trickle'
          stmt
   from   dc_tables@datacache tbe    
   join   dc_table_partitions@DataCache tpn
   on     tpn.tbe_id = tbe.tbe_id
   and    tpn.tpt_seeding_approach_used_code = 'C' /* Complete. */
   join   SYSTEMTABLES@DataDictionary ste
   on     ste.full_qualified_name = tbe.tbe_full_qualified_name
   and    ste.webhook_topic is not null
   --
   -- Skip all XML tables, since none of them
   -- has webhooks anyway.
   --
   where  tbe.tbe_full_qualified_name like '%REST%'
 )
 loop
   execute immediate r_trickle.stmt;
 end loop;
end;

När webhooks inte är tillgängliga kan du överväga att använda metoden smart sampling. Alternativt, när tabeller har fler än 50 000 rader och serversidig filtrering är tillgänglig, kan du använda frågor av följande typ för att förbättra replikeringsprestandan:

create or replace table REPLICA@DATABASE
as
select ... from OLD
union
distinct on PK
select ... from NEW where MODIFIED > date

Ett annat alternativ är att använda synchronize-satsen, som anpassar innehållet i de två tabellerna till varandra. Se SQL-grammatiken för fler instruktioner.

Ladda ner meddelanden för OEM

Webhook-händelser leder till att meddelanden registreras av Invantive Cloud i en kö. Innehållet i denna kö kan laddas ner och bearbetas av Invantive Data Replicator.

För OEM:er måste datacontainer-ID anges vid nedladdningen för att säkerställa att rätt meddelanden laddas ner. Annars kommer den första miljön att ladda ner alla meddelanden. Dessa meddelanden kommer inte att bearbetas, men nedladdningen av dem gör dem otillgängliga för de återstående miljöerna.

Exempelkod i Invantive PSQL:

declare
 l_license_contract_code varchar2 := 'L9999999999';
 l_secret_token          varchar2 := 'secret';
begin
 --
 -- Expected runtime: 1 second per 1.000 messages.
 --
 for r_dcr
 in
 ( select 'alter persistent cache download feed LICENSE CONTRACT CODE '''
          || l_license_contract_code
          || ''''
          || ' token '''
          || l_secret_token
          || ''''
          || ' datacontainer '''
          || dcr.dcr_name
          || ''''
          stmt
   from   ( select distinct
                   dcr.dcr_name
            from   dc_table_partitions@DataCache tpn
            join   dc_tables@DataCache tbe
            on     tbe.tbe_id = tpn.tbe_id
            join   dc_data_containers@DataCache dcr
            on     dcr.dcr_id = tbe.dcr_id
            where  tpn.tpt_seeding_approach_used_code = 'T'
          ) dcr
   order
   by     dcr.dcr_name
 )
 loop
   execute immediate r_dcr.stmt;
 end loop;
end;

Webhook-stormar

Exact Online har “webhook-stormar”. Händelser som återställning av en säkerhetskopia, uppgraderingar eller stängning av perioder hos stora företag kan utlösa miljontals meddelanden inom en timme. Det finns ingen meningsfull hastighetsbegränsning tillämpad, så om den är felaktigt utformad kan din webhook-mottagare uppleva något som liknar en “Distributed Denial of Service”-attack.

Invantive Cloud kan hantera 10 miljoner händelser per timme. Vid överskridande strypas händelserna och hanteras över tid. Om till exempel 100 miljoner händelser inträffar över 20 000 Exact Online-företag inom 60 minuter, kommer det att ta Invantive 10 timmar att komma ikapp och göra händelserna tillgängliga för dig.

Det genomsnittliga antalet levererade webhook-händelser är dock 50 000 per timme, vilket endast är 0,5 % jämfört med den maximala hanteringskapaciteten. Webhook-stormar förekommer, men kommer sällan att väsentligt försena mottagandet av dina händelser av Data Replicator.

Avduplicering av flera händelser

Exact Online är känt för att utlösa flera händelser för en och samma ändring. Till exempel kommer en webhook-händelse att skickas för transaktionshuvudet för varje rad som ingår i en transaktion. Detta har förbättrats över tid och för närvarande ser vi få eller inga dubbletter. Eventuella överflödiga dubbletter avdupliceras automatiskt av Invantive Cloud när de tas emot inom ett konfigurerbart tidsintervall. Tidsintervallet är som standard inställt på 15 minuter.

Tokensäkerhet för OEM

Token för att hämta flödet med händelser lagras vanligtvis persistent i Data Replicator-repositoriet för att möjliggöra hämtning från batchjobb, med hjälp av:

alter persistent cache set token = 'value'

Vissa OEM:er tillåter dock sina slutanvändare att få direkt åtkomst till Data Replicator-repositoriets databas. Åtkomst till token kan utgöra ytterligare en komponent i en attackvektor.

Därför lagras token inte persistent i databasen i detta exempel. Istället lagras token i skriptet. Du kan lägga till standardkrypteringen med enhetsnyckel på token-strängen för bättre säkerhet. För Exact Online är detta i allmänhet inte nödvändigt, eftersom Exact Online-webhooks innehåller lite till ingen faktisk affärsinformation.

Kontrollera aktivering av Trickle Loading

I Exact Online kan du kontrollera de för närvarande aktiverade webhookarna med WebhookSubscriptions:

select /*+ ods(false) http_disk_cache(false) http_memory_cache(false) */
      *
from   WebhookSubscriptions

Till exempel:

Kontrollera routning av webhook-händelser

Efter den inledande aktiveringen av trickle loading i Exact Online kommer det att ta en viss tid innan den faktiska replikeringen sker med inkrementell trickle loading istället för en fullständig kopia. Invantive Data Replicator kräver en heartbeat-signal från Exact Online för att slutföra loopen. Så länge inga meddelanden har tagits emot för webhook-händelser för en kombination av Exact Online-företag (partition) och replikerad tabell, kommer replikeringen att fortsätta använda en fullständig kopia för att undvika dataförlust.

Följande kod hjälper dig att testa loopen för att ta emot händelser genom att ändra ett element i Exact Online accounts och kontrollera att det relaterade meddelandet anländer:

--
-- Test retrieval of messages, for instance using accounts.
--
update exactonlinerest..accounts 
set    name = name || '!' 
where  name like 'Belastingdienst%'
 
--
-- Revert change.
--
update exactonlinerest..accounts 
set    name = replace(name, '!', '') 
where  name like 'Belastingdienst%!'
 
--
-- Then:
-- * Wait 3 minutes.
-- * Run download feed above.
-- * Check contents of incoming messages.
--
select *
from   dc_incoming_messages@DataCache

Till exempel:

Om du vill tvinga fram en manuell stängning av loopen, vänligen kontakta en konsult.