Hoe webhookproblemen van Exact Online analyseren voor trickle loading

Er zijn diverse geavanceerde technieken beschikbaar binnen Invantive Data Replicator om het downloaden van gegevens uit bronnen te versnellen. Een van deze technieken is “trickle loading”.

Wat is Trickle Loading?

Trickle loading is een techniek om de prestaties te verbeteren. Het begint met een volledige initiële replicatie. Het bronsysteem informeert de Invantive-infrastructuur over elke wijziging. De wijzigingen komen op individuele basis “binnendruppelen”. Deze wijzigingen in de gegevens kunnen worden gedownload en toegepast op de volledige dataset. Trickle loading is beschikbaar voor een beperkt aantal tabellen, afhankelijk van de mogelijkheden van het platform waarmee verbinding wordt gemaakt. Met trickle loading kun je de replicatieduur vaak met een factor 100 of meer verminderen.

Wat is een Exact Online Webhook?

Een Exact Online webhook is een registratie via de Exact Online API waarmee een applicatie zich kan abonneren om berichten te ontvangen bij wijzigingen in de gegevens. De registratie wordt gemaakt met behulp van de gebruikersgegevens en elke applicatie kan zijn eigen webhook-abonnementen hebben. Een applicatie kan de webhook-abonnementen van andere applicaties op Exact Online niet zien of benaderen.

De daadwerkelijke implementatie van trickle loading verschilt per platform. Op Exact Online worden webhooks gebruikt om trickle loading in Invantive Data Replicator te implementeren. Op de populaire Exact Online-platforms biedt Invantive Data Replicator trickle loading op ongeveer 30 tabellen. De meeste van deze Exact Online-tabellen hebben een transactioneel karakter.

Exact Online webhooks verschillen conceptueel van Exact Online sync APIs.

Analyseren van Ogenschijnlijk Verloren Wijzigingen bij Trickle Loading

Het kan echter voorkomen dat wijzigingen verloren gaan of lijken te gaan, waarbij ze niet in de gerepliceerde tabel terechtkomen. De volgende stappen helpen je bij het analyseren en oplossen van dergelijke problemen.

Noodgevallen

In noodgevallen kun je er altijd voor kiezen om handmatig een volledige replicatie uit te voeren met de volgende Invantive SQL-instructie uit de SQL-documentatie:

alter persistent cache force refresh approach copy

of voor één tabel:

alter persistent cache table NAME force refresh table approach copy

eventueel gecombineerd met het instellen van de gewenste partitie met een instructie zoals:

alter persistent cache table NAME force refresh partition NAME approach copy

Hierdoor wordt een volledige kopie gedownload zonder gebruik te maken van trickle loading. Dit kan enige tijd in beslag nemen om uit te voeren.

Je kunt ook de gegevens volgen langs de gegevensstroom als je reden hebt om te twijfelen aan de volledigheid van de gerepliceerde dataset. De gegevensstroom op Exact Online met Invantive Data Replicator trickle loading is (zie afbeelding):

  1. De gebruiker maakt een wijziging in een scherm (toevoegen, verwijderen, bijwerken) (rood 1).
  2. Exact Online stuurt de wijziging door naar het Invantive-wachtrijsysteem met behulp van een webhook die een unieke ID bevat (rood 2). Vanwege de vereisten voor beschikbaarheid en prestaties wordt een apart wachtrijsysteem gebruikt. Er wordt geen vertrouwelijke beveiligingsgegevens van Exact Online opgenomen in de webhook.
  3. Een ontvanger van Invantive Cloud ontvangt de wijziging (rood 3).
  4. De wijziging wordt via de Invantive Message Bus naar de uitgaande wachtrij geleid, wachtend op jouw ophaalactie (rood 4).
  5. Het ophalen wordt uitgevoerd met de instructie alter persistent cache download feed en opgeslagen in de repository-tabel dc_incoming_messages (rood 5).
  6. Bij replicatie haalt Data Replicator de unieke identificatie van de wijziging op en zoekt de dan actuele gegevens op in Exact Online (rood 6).
  7. Wanneer er wijzigingen zijn, wordt een nieuwe tabelpartitieversie aangemaakt in de replicatiedatabase (rood 7).

Om een probleem te analyseren, kun je de gegevensstroom zoals hierboven weergegeven volgen en controleren:

  • of het aankomt;
  • of het op tijd aankomt.

Wijziging in Exact Online

Voer de volgende stappen uit om een wijziging te triggeren die naar de gerepliceerde database moet worden gerepliceerd:

  • Controleer in de onderliggende database-view welke tabellen en partities (Exact Online-administraties) worden gerepliceerd met behulp van trickle loading, met behulp van een query zoals (zie ook documentatie van het repository-datamodel):
select ptn_name
,      tbe_full_qualified_name 
from   dc_table_partitions_r 
where  tpt_seeding_approach = 'T'
  • Log in op Exact Online.
  • Schakel over naar een administratie.
  • Open het formulier waarvan de inhoud wordt gerepliceerd.
  • Maak een wijziging met een unieke en gemakkelijk te doorzoeken tekst, zoals een willekeurige tekenreeks in de omschrijving of code.
  • Noteer het tijdstip waarop je de wijziging hebt gemaakt.

Doorsturen van Wijzigingen vanuit Exact Online

Binnen enkele minuten zal Exact Online de wijziging oppikken, deze intern registreren en doorsturen naar de Receiver op Invantive Cloud. Voor de meeste sites wordt een eigen client-ID gebruikt, zodat je in jouw Exact Online-abonnement de status van het doorsturen kunt analyseren:

  • Kijk of je visueel een recent bericht kunt vinden dat overeenkomt met jouw wijziging.
  • Kolom (1) toont het tijdstip in UTC waarop de laatste poging is gedaan om de webhook af te leveren.
  • Kolom (2) toont de unieke ID van het betrokken object. Deze unieke ID wordt meegevoerd door de hele gegevensstroom.
  • Kolom (3) toont het aantal keren dat een aflevering is geprobeerd.
  • Kolom (4) toont de laatste responscode. De aflevering was alleen succesvol wanneer ‘OK’ wordt weergegeven.

Ontvanger voor Wijzigingen

De Invantive Cloud Receiver heeft de wijziging succesvol opgehaald wanneer de responscode ‘OK’ is. Als gebruiker kun je de uitkomst van de Invantive Cloud Receiver opvragen in de Invantive Message Bus, zoals beschreven in Inzicht in Exact Online webhooks via de Invantive Message Bus-schermen van Invantive Cloud (alleen in het Nederlands).

Wachtrij voor Wijzigingen

Het bericht wordt opgeslagen in de uitgaande wachtrij van de Invantive Message Bus.

Download Feed van Wijzigingen

Zodra de responscode ‘OK’ wordt weergegeven, moet je nog twee minuten extra wachten om Invantive Cloud de tijd te geven de verwerking van het bericht af te ronden, zelfs als er op hetzelfde moment een zogenaamde webhookstorm wordt veroorzaakt door Exact Online.

Download vervolgens de berichten die in de wachtrij staan voor jouw repository met:

alter persistent cache download feed

Zodra dit is voltooid, bevat de tabel dc_incoming_messages alle ontvangen en onverwerkte wijzigingen. Je kunt analyseren of de wijziging correct is doorgevoerd met de query:

select *
from   dc_incoming_messages

Optioneel kun je voor grote omgevingen een where-clausule toevoegen waarin je de waarde van de resource-key opgeeft die moet overeenkomen met de object_key in de tabel:

select *
from   dc_incoming_messages
where  object_key = 'RESOURCE KEY'

Onthoud dat rijen uit dc_incoming_messages worden verwijderd zodra de wijzigingen zijn verwerkt.

Samenvoegen van Binnenkomende Trickle Loading-berichten

De wijzigingen die zijn opgeslagen in dc_incoming_messages worden bij de volgende verversing samengevoegd met de laatst bekende replica.

Een verversing vindt alleen plaats wanneer de gegevens niet langer als “vers” worden beschouwd. De standaard vervaldatum van een tabelpartitie kan worden opgevraagd met:

select tpn_date_becomes_obsolete
,      tbe_full_qualified_name
,      ptn_name
from   dc_table_partition_versions_r
where  tpn_active_flag = 'Y'
and    tbe_full_qualified_name like '%TABLE NAME%'
and    ptn_name = 'EXACT ONLINE DIVISION CODE'

Je kunt het samenvoegen echter afdwingen door Invantive Query Tool uit te voeren, in te loggen op de Data Replicator-omgeving en het volgende in te voeren:

use DIVISION

select /*+ ods(true, interval '1 seconds') */ count(*)
from   TABLENAME

Deze instructie zal de dataset bijwerken, aangezien de versheid ouder is dan 1 seconde. Er wordt een nieuwe tabelpartitieversie geïntroduceerd wanneer er wijzigingen zijn.

Je kunt het daadwerkelijk uitgevoerde werk controleren met een query op dc_event_log:

select top(100) *
from   dc_event_log_r
where  ptn_name = 'PARTITION NAME'
and    tbe_full_qualified_name like '%TABLE NAME%'
order
by     elg_id desc

Controleer Inhoud van de Feitentabel

Nu de wijzigingen allemaal zijn samengevoegd in een nieuwe tabelpartitieversie (indien nodig), zou je de nieuwe rij moeten kunnen zien in de voor jou gegenereerde view.

De daadwerkelijke viewnaam hangt af van je configuratie, maar lijkt over het algemeen op de naam van de oorspronkelijke tabel:

select *
from   eol_transactionlinesbulk_r

Controleer of de view de gewijzigde gegevens bevat.