Deze notitie legt de voordelen uit van trickle loading van replica’s van Exact Online-administraties, zoals kortere replicatietijden, inclusief de stappen om trickle loading te activeren. Een ander onderwerp gaat dieper in op Trickle Loading bij gebruik van een OEM-licentie van Invantive Data Replicator om veel klanten te bedienen.
Trickle Loading
Data Replicator biedt verschillende manieren om de belasting van uw infrastructuur, met name cloudplatforms, te verminderen door data te repliceren naar een centrale database. Een van de meest populaire optimalisaties is de overstap van de volledige kopieerbenadering naar incrementeel laden met behulp van “trickle loading”.
Trickle loading is een techniek waarbij aanvankelijk een volledige replica wordt gemaakt vanuit uw bronnen en daarna alleen wijzigingen worden toegepast.
Versiebeheer blijft van toepassing bij trickle loading: als atomaire actie schakelen uw gebruikers tussen de huidige en nieuwe versies van de volledige inhoud van een tabel.
Wijzigingen vanuit cloudtoepassingen worden doorgaans verzameld via Invantive Cloud en beschikbaar gesteld in een wachtrij voor download door de geautoriseerde eigenaar. Momenteel wordt alleen Exact Online ondersteund via webhooks. Hieronder vindt u een snelle installatie.
Wijzigingen vanuit on-premise platforms zoals databases kunnen worden verzameld met behulp van database-triggers of redo log mining, en vereisen handmatig werk en consultancy van Invantive.
Voordelen
Trickle loading biedt een aantal voordelen:
- Trickle loading verkort de duur van de dagelijkse laadfase, bijvoorbeeld van 30 minuten voor 100.000 accounts op Exact Online naar 30 seconden.
- Als er geen wijzigingen zijn geregistreerd, wordt de vervaldatum van de versie vooruitgeschoven zonder dat de versienummers veranderen.
- De afname in benodigde CPU- en schijf-I/O vermindert het resourceverbruik aanzienlijk, met name wanneer meer dan 1.000 partities zijn gerepliceerd naar een database.
- Bij 24x7-laadcycli verkorten de verkorte laadfases ook het tijdvenster waarin gerelateerde tabellen inconsistente inhoud hebben doordat foreign key-constraints worden geschonden.
Risico’s
Trickle loading brengt ook een aantal risico’s met zich mee, vooral omdat de meeste webhooks die worden gebruikt voor trickle-updates over het algemeen concepten zoals heartbeat en indicatoren voor de gezondheid van de dienst missen:
- Geen updates worden toegepast, wanneer in de repository een tabelpartitie is geconfigureerd voor trickle loading, maar het platform de updates niet aflevert. Aanbevolen actie: activeer trickle loading zorgvuldig en wereldwijd op het platform.
- Verlies van abonnement, wanneer in de repository een tabelpartitie is geconfigureerd voor trickle loading, maar het platform de updates niet aflevert. Exact Online heeft bij een aantal gelegenheden abonnementen verloren. Aanbevolen actie: activeer trickle loading zorgvuldig en wereldwijd op het platform. Pas applicatiecontroles toe om het verlies van abonnementen te detecteren.
- Vertraging van updates, waarbij de te laden updates met aanzienlijke vertraging binnenkomen. Aanbevolen actie: pas applicatiecontroles toe.
Trickle Loading activeren
Om trickle loading te activeren op Exact Online, configureert u een Data Replicator-connectiestring en voert u de volgende instructies uit:
--
-- Selecteer de partities (Exact Online-administraties) die gerepliceerd moeten worden.
--
use 123456,345678
--
-- Initiële installatiestappen.
--
begin
--
-- Maak een eerste volledige kopie met behulp van een eenvoudig te gebruiken 'select count(*)'.
--
select count(*) from exactonlinerest..salesinvoices;
select count(*) from exactonlinerest..salesinvoicelines;
--
-- Wijzig de strategie voor de tabellen om trickle loading te gebruiken.
--
-- Tabellen waarvoor trickle loading niet beschikbaar is, geven een foutmelding.
-- U kunt alsnog een volledige kopie uitvoeren.
--
alter persistent cache set table exactonlinerest..salesinvoices approach trickle;
alter persistent cache set table exactonlinerest..salesinvoicelines approach trickle;
--
-- Configureer uw lokale Data Replicator-repository met inloggegevens om
-- de ontvangen webhook-events te downloaden.
--
-- Ontvang uw token van Invantive.
--
alter persistent cache set token 'secret'
--
-- Activeer nu op https://data-replicator.cloud de webhooks voor Exact Online.
-- Neem voor volumes boven 30 administraties contact op voor een consultancygesprek
-- om hulp te krijgen bij het uitvoeren van de SQL-instructies, zodat u de juiste webhooks
-- registreert voor al uw administraties.
--
-- Vanaf nu worden wijzigingen in Exact Online geregistreerd en verzameld.
--
-- Om er zeker van te zijn dat er geen wijzigingen verloren zijn gegaan tussen het begin van dit PSQL-blok en nu,
-- voert u een volledige herlading uit.
--
alter persistent cache
table exactonlinerest.salesinvoice.salesinvoices
force refresh approach copy
;
alter persistent cache
table exactonlinerest.salesinvoice.salesinvoicelines
force refresh approach copy
;
end;
--
-- Stappen voor dagelijkse of vaker uitgevoerde replicatie.
--
begin
--
-- Download alle verzamelde events.
--
alter persistent cache download feed;
--
-- Vernieuw de inhoud van twee tabellen met behulp van de standaardstrategie
-- die op de tabel is geconfigureerd.
--
-- Zelfs bij grote volumes en voldoende schijf-I/O-capaciteit
-- duurt deze stap over het algemeen minder dan 1 minuut.
--
alter persistent cache table exactonlinerest.salesinvoice.salesinvoicelines refresh;
alter persistent cache table exactonlinerest.salesinvoice.salesinvoices refresh;
--
-- Of gebruik de volgende instructie, die een volledige download uitvoert van alle tabellen waarvoor
-- trickle loading niet is geconfigureerd. En gebruikt trickle loading voor de tabellen waarvoor
-- trickle loading wel is geconfigureerd.
--
alter persistent cache refresh;
end;

