Den här anteckningen förklarar fördelarna med att använda trickle loading vid replikering av Exact Online-företag, såsom kortare replikeringstider, inklusive stegen för att aktivera trickle loading. Ett annat ämne går närmare in på Trickle Loading vid användning av en OEM-licens för Invantive Data Replicator för att betjäna många kunder.
Trickle Loading
Data Replicator erbjuder en rad olika metoder för att minska belastningen på din infrastruktur, särskilt molnplattformar, genom att replikera data till en central databas. En av de mest populära optimeringarna är att byta från metoden med fullständig kopiering till inkrementell laddning med hjälp av ”trickle loading”.
Trickle loading är en teknik där det först skapas en fullständig replik av dina källor, och därefter tillämpas endast ändringar.
Versionshantering gäller fortfarande vid trickle loading: som en atomär åtgärd växlar dina användare mellan nuvarande och nya versioner av tabellens fullständiga innehåll.
Ändringar från molnapplikationer samlas vanligtvis in med hjälp av Invantive Cloud och görs tillgängliga i en kö för nedladdning av den auktoriserade ägaren. För närvarande stöds endast Exact Online via webhooks. En snabb installationsguide ges nedan.
Ändringar från lokala plattformar (on-premise), såsom databaser, kan samlas in med hjälp av databastriggers eller redo log mining, och kräver manuellt arbete och konsultation från Invantive.
Fördelar
Trickle loading har ett antal fördelar:
- Trickle loading förkortar varaktigheten av den dagliga laddningsfasen, till exempel från 30 minuter för 100 000 konton i Exact Online till 30 sekunder.
- Om inga ändringar har registrerats, flyttas versionens utgångsdatum fram utan att versionsnumren ändras.
- Den minskade mängden CPU- och disk-I/O som krävs minskar resursförbrukningen avsevärt, särskilt när fler än 1 000 partitioner har replikerats till en databas.
- Vid 24/7-laddningscykler minskar de förkortade laddningsfaserna också det tidsfönster under vilket relaterade tabeller har inkonsekvent innehåll på grund av att främmande nyckel-begränsningar (foreign key constraints) bryts.
Risker
Trickle loading medför också ett antal risker, särskilt eftersom de flesta webhooks som används för trickle-laddningar i allmänhet saknar koncept som heartbeat och hälsostatusindikatorer för tjänsten:
- Inga uppdateringar tillämpas, när en tabellpartition i repositoryt har konfigurerats för trickle loading, men plattformen inte levererar laddningarna. Rekommenderad åtgärd: aktivera trickle loading på plattformen noggrant och globalt.
- Förlust av prenumeration, när en tabellpartition i repositoryt har konfigurerats för trickle loading, men plattformen inte levererar laddningarna. Exact Online har vid flera tillfällen förlorat prenumerationer. Rekommenderad åtgärd: aktivera trickle loading på plattformen noggrant och globalt. Använd applikationskontroller för att upptäcka förlust av prenumerationer.
- Fördröjda laddningar, där de laddningar som ska bearbetas anländer med en betydande fördröjning. Rekommenderad åtgärd: använd applikationskontroller.
Aktivera Trickle Loading
För att aktivera trickle loading för Exact Online konfigurerar du en Data Replicator-anslutningssträng och kör följande satser:
--
-- Välj de partitioner (Exact Online-företag) som ska replikeras.
--
use 123456,345678
--
-- Inledande installationssteg.
--
begin
--
-- Skapa en första fullständig kopia med hjälp av en enkel 'select count(*)'.
--
select count(*) from exactonlinerest..salesinvoices;
select count(*) from exactonlinerest..salesinvoicelines;
--
-- Ändra strategin för tabellerna så att de använder trickle loading.
--
-- Tabeller för vilka trickle loading inte är tillgängligt kommer att ge ett fel. Du
-- kan fortfarande köra en fullständig kopiering.
--
alter persistent cache set table exactonlinerest..salesinvoices approach trickle;
alter persistent cache set table exactonlinerest..salesinvoicelines approach trickle;
--
-- Konfigurera ditt lokala Data Replicator-repository med autentiseringsuppgifter för att ladda ner
-- de mottagna webhook-händelserna.
--
-- Hämta din token från Invantive.
--
alter persistent cache set token 'secret'
--
-- Aktivera nu webhooks för Exact Online på https://data-replicator.cloud.
-- För volymer över 30 företag, boka ett konsultationssamtal för
-- att få hjälp med att köra SQL-satserna och säkerställa att du registrerar rätt webhooks
-- för alla dina företag.
--
-- Från och med nu kommer ändringar i Exact Online att registreras och samlas in.
--
-- För att säkerställa att inga ändringar har gått förlorade mellan starten av detta PSQL-block och nu,
-- kör en fullständig omladdning.
--
alter persistent cache
table exactonlinerest.salesinvoice.salesinvoices
force refresh approach copy
;
alter persistent cache
table exactonlinerest.salesinvoice.salesinvoicelines
force refresh approach copy
;
end;
--
-- Steg för daglig eller mer frekvent replikering.
--
begin
--
-- Ladda ner alla insamlade händelser.
--
alter persistent cache download feed;
--
-- Uppdatera innehållet i två tabeller med den standardstrategi som är konfigurerad
-- för tabellen.
--
-- Även med stora volymer och tillräcklig disk-I/O-kapacitet
-- tar det här steget i allmänhet mindre än 1 minut.
--
alter persistent cache table exactonlinerest.salesinvoice.salesinvoicelines refresh;
alter persistent cache table exactonlinerest.salesinvoice.salesinvoices refresh;
--
-- Eller använd följande sats, som gör en fullständig nedladdning av alla tabeller där
-- trickle loading inte är konfigurerat. Och använder trickle loading för de tabeller där trickle
-- loading är konfigurerat.
--
alter persistent cache refresh;
end;

