Sono disponibili diverse tecniche avanzate con Invantive Data Replicator per velocizzare il download dei dati dalle fonti. Una di queste tecniche è il «trickle loading».
Cos’è il Trickle Loading?
Il trickle loading è una tecnica di miglioramento delle prestazioni. Inizia con una replica iniziale completa. Il sistema sorgente informa l’infrastruttura Invantive di ogni singola modifica. Le modifiche arrivano «a goccia» (trickling) su base individuale. Queste modifiche ai dati possono essere scaricate e applicate all’intero set di dati. Il trickle loading è disponibile per un numero limitato di tabelle, a seconda delle funzionalità della piattaforma a cui si è connessi. Utilizzando il trickle loading, è spesso possibile ridurre la durata della replica di un fattore 100 o più.
Cos’è un Webhook di Exact Online?
Un webhook di Exact Online è una registrazione effettuata tramite l’API di Exact Online, con cui un’applicazione può iscriversi per ricevere messaggi in caso di modifiche ai dati. La registrazione viene effettuata utilizzando le credenziali utente e ogni applicazione può avere le proprie sottoscrizioni webhook. Un’applicazione non può vedere né accedere alle sottoscrizioni webhook di altre applicazioni su Exact Online.
L’implementazione effettiva del trickle loading varia a seconda della piattaforma. Su Exact Online, i webhook vengono utilizzati per implementare il trickle loading in Invantive Data Replicator. Sulle piattaforme Exact Online più diffuse, Invantive Data Replicator offre il trickle loading su circa 30 tabelle. La maggior parte di queste tabelle di Exact Online è di natura transazionale.
I webhook di Exact Online sono concettualmente diversi dalle API di sincronizzazione di Exact Online.
Analisi delle Modifiche Apparentemente Perse nel Trickle Loading
Tuttavia, le modifiche possono andare perse o sembrare perse, nel senso che non arrivano nella tabella replicata. I passaggi seguenti ti aiutano ad analizzare e risolvere tali problemi.
Emergenze
In caso di emergenza, puoi sempre scegliere di eseguire manualmente una replica completa utilizzando la seguente istruzione Invantive SQL, tratta dalla documentazione SQL:
alter persistent cache force refresh approach copy
oppure per una singola tabella:
alter persistent cache table NAME force refresh table approach copy
Eventualmente combinata con l’impostazione della partizione desiderata, utilizzando un’istruzione come:
alter persistent cache table NAME force refresh partition NAME approach copy
Questo scaricherà una copia completa senza utilizzare il trickle loading. L’esecuzione può richiedere del tempo.
Puoi anche seguire il flusso dei dati quando hai motivo di dubitare della completezza del set di dati replicato. Il flusso dei dati su Exact Online con il trickle loading di Invantive Data Replicator è il seguente (vedi immagine):
- L’utente effettua una modifica in una schermata (aggiunta, eliminazione, aggiornamento) (rosso 1).
- Exact Online inoltra la modifica al sistema di accodamento (queuing) di Invantive tramite un webhook contenente un ID univoco (rosso 2). Viene utilizzato un sistema di accodamento separato, vista i requisiti di uptime e prestazioni. Nel webhook non sono inclusi dati riservati di sicurezza di Exact Online.
- Un receiver di Invantive Cloud riceve la modifica (rosso 3).
- La modifica viene instradata attraverso l’Invantive Message Bus nella coda di output, in attesa del tuo prelievo (rosso 4).
- Il prelievo viene eseguito tramite l’istruzione
alter persistent cache download feede memorizzato nella tabella del repositorydc_incoming_messages(rosso 5). - Durante la replica, Data Replicator preleva l’identificativo univoco della modifica e ricerca i dati allora correnti in Exact Online (rosso 6).
- In presenza di modifiche, viene creata una nuova versione della partizione della tabella nel database di replica (rosso 7).
Per analizzare un problema, puoi seguire il flusso dei dati come mostrato sopra e verificare:
- se arriva;
- se arriva in tempo.
Modifica in Exact Online
Esegui i seguenti passaggi per attivare una modifica da replicare nel database replicato:
- Controlla nella vista del database di backend quali tabelle e partizioni (aziende Exact Online) vengono replicate tramite trickle loading, utilizzando una query come la seguente (vedi anche la documentazione del modello dati del repository):
select ptn_name
, tbe_full_qualified_name
from dc_table_partitions_r
where tpt_seeding_approach = 'T'
- Accedi a Exact Online.
- Passa a un’azienda.
- Apri il modulo il cui contenuto viene replicato.
- Effettua una modifica utilizzando un testo univoco e facile da interrogare, come una stringa di testo casuale nella descrizione o nel codice.
- Annota l’ora in cui hai effettuato la modifica.
Inoltro delle Modifiche da Exact Online
Nel giro di pochi minuti, Exact Online rileverà la modifica, la registrerà internamente e la inoltrerà al Receiver su Invantive Cloud. Per la maggior parte dei siti viene utilizzato un ID client personalizzato, quindi puoi analizzare nella tua sottoscrizione Exact Online lo stato dell’inoltro:
- Vai al modulo di Exact Online “Log Webhook Messages“:
- Verifica se riesci a individuare visivamente un messaggio recente corrispondente alla tua modifica.
- La colonna (1) mostra l’orario in UTC in cui è stato effettuato l’ultimo tentativo di consegna del webhook.
- La colonna (2) mostra l’ID univoco dell’oggetto coinvolto. Questo ID univoco viene trasportato lungo l’intero flusso dei dati.
- La colonna (3) mostra il numero di tentativi di consegna effettuati.
- La colonna (4) mostra l’ultimo codice di risposta. La consegna è andata a buon fine solo quando viene mostrato ‘OK’.
Receiver per le Modifiche
L’Invantive Cloud Receiver ha recuperato correttamente la modifica quando il codice di risposta è ‘OK’. Come utente, puoi interrogare l’esito dell’Invantive Cloud Receiver nell’Invantive Message Bus, come descritto in Inzicht in Exact Online webhooks via de Invantive Message Bus-schermen van Invantive Cloud (solo in olandese).
Accodamento delle Modifiche
Il messaggio viene memorizzato nella coda di output dell’Invantive Message Bus.
Download Feed delle Modifiche
Una volta visualizzato il codice di risposta ‘OK’, dovresti attendere altri due minuti per consentire a Invantive Cloud di completare l’elaborazione del messaggio, anche nel caso in cui venga contemporaneamente attivata una cosiddetta tempesta di webhook (webhook storm) da parte di Exact Online.
Scarica quindi i messaggi in coda per il tuo repository utilizzando:
alter persistent cache download feed
Una volta completato, la tabella dc_incoming_messages contiene tutte le modifiche ricevute e non ancora elaborate. Puoi verificare se la modifica è stata propagata correttamente utilizzando la query:
select *
from dc_incoming_messages
Facoltativamente, per ambienti di grandi dimensioni, puoi aggiungere una clausola where in cui specifichi il valore della chiave di risorsa da confrontare con object_key nella tabella:
select *
from dc_incoming_messages
where object_key = 'RESOURCE KEY'
Ricorda che le righe vengono rimosse da dc_incoming_messages una volta che le modifiche sono state elaborate.
Unione dei Messaggi di Trickle Loading in Arrivo
Le modifiche memorizzate in dc_incoming_messages vengono unite con l’ultima replica conosciuta al successivo aggiornamento.
Un aggiornamento avviene solo quando i dati non sono più considerati «aggiornati» (fresh). La data di scadenza predefinita di una partizione di tabella può essere verificata tramite:
select tpn_date_becomes_obsolete
, tbe_full_qualified_name
, ptn_name
from dc_table_partition_versions_r
where tpn_active_flag = 'Y'
and tbe_full_qualified_name like '%TABLE NAME%'
and ptn_name = 'EXACT ONLINE DIVISION CODE'
Tuttavia, puoi forzare l’unione eseguendo Invantive Query Tool, accedendo all’ambiente Data Replicator e digitando:
use DIVISION
select /*+ ods(true, interval '1 seconds') */ count(*)
from TABLENAME
Questa istruzione aggiornerà il set di dati, poiché l’aggiornamento è più vecchio di 1 secondo. Verrà introdotta una nuova versione della partizione di tabella qualora ci siano modifiche.
Puoi verificare il lavoro effettivamente svolto tramite una query su dc_event_log:
select top(100) *
from dc_event_log_r
where ptn_name = 'PARTITION NAME'
and tbe_full_qualified_name like '%TABLE NAME%'
order
by elg_id desc
Verifica del Contenuto della Tabella dei Dati
Ora che tutte le modifiche sono state unite in una nuova versione della partizione di tabella (quando ritenuto necessario), dovresti poter vedere la nuova riga nella vista generata per te.
Il nome effettivo della vista dipende dalla tua configurazione, ma in generale ricalca il nome della tabella di origine:
select *
from eol_transactionlinesbulk_r
Verifica se la vista contiene i dati modificati.

