ItemsIncrementals Exact Online een divisie lijkt te ontbreken

Vragen
,
1

De tabel Incrementals.ItemIncrementals lijkt niet alle mutaties mee te nemen. Er ontbreekt informatie uit een specifieke divisie. Zou dit kunnen?

2

Gaat het om een divisie die recent toegevoegd is aan de rechten van de database user in Invantive Cloud?

Op welke wijze is de data opgevraagd binnen het Invantive Cloud-platform?

In dat geval kan het meerdere uren tot zelfs dagen duren vooraleer deze zichtbaar wordt. Dit kan beinvloed worden door de cache levensduur van de divisie (zie Differentieer OData4 cachegedrag met Power BI).

Mocht dat niet zo zijn, controleer dan via de volgende query in de UniversalSQL-editor of de resultaten overeenstemmen met de verwachting:

use all@eol

select division
,      count(*)
from   ItemsIncremental@eol
group
by     Division
3

Hi,

Dit lijkt niet de oplossing ?

4

Hoi, de query in de UniversalSQL editor stemmen overeen met de verwachting.

5

Maar de data komt nog niet door. Wil iemand hier naar kijken?

6

Nieuwe tabel werkt wel. Ik bouw opnieuw op.

7

Uit analyse blijkt dat in ItemsIncremental zoals nu beschikbaar op Bridge Online geen rijen bevat met een Modified-veld dat voor 29-9-2023 12:26:49 ligt:

image

Echter, in ItemsBulk begint de Modified-veld bij 8-8-2023 16:31:01:

image
image150×635 43.1 KB

In de Exact Online-specifieke datadictionary-view IncrementalLoadStatistics is wel te zien dat een aantal malen een groot aantal rijen verwijderd zijn uit de tussenresultaten die voor ItemsIncremental worden bewaard:

image
image1383×655 172 KB

Deze verwijdering betreft rijen waarvan de Exact Online-API aangaf dat ze moesten vervallen. Dit vond echter plaats tussen 20 juni 2023 en 28 juni 2023 en is ook qua effect zichtbaar in de RowCount-kolom.

Echter, de RowCount laat van 24 september 2023 01:13:07 (UTC) op 1 oktober 2023 02:15:15 (UTC) een achteruitgang van 1192 rijen naar 300 rijen zien.

Op 24 september laat OldRowsIncludedUnchangedCount nog 897 zien, en OldRowsIncludedMofieidCount 295. Vreemd genoeg is er op 1 oktober 2023 geen enkele rij die nog onder OldRowsIncludedUnchangedCount en OldRowsIncludedModifiedCount valt; er zijn enkel 300 nieuwe rijen te zien onder NewRowsCount.

De synchronisatie op 1 oktober 2023 om 02:15:15 heeft dus somehow de volledige cumulatief opgebouwd historie tot dan laten verdwijnen.

1 oktober 2023 staat bekend als de datum waarop de Invantive Cloud-omgeving enorm zwaar belast was gedurende de gehele dag en vrijwel geen verzoeken afgewikkeld konden worden totdat de totale servercapaciteit verdubbeld was. Inmiddels is met invoering van de Fair Use-policy hier een verbetering in doorgevoerd om de frequentie van dergelijke uitschieters te verlagen.

Dit probleem wordt verder onderzocht.

8

Bij verdere analyse blijkt dat inderdaad de volgende verversing na 24 september (1 oktober) alle oude rijen vergeten is en met 300 rijen begint die gewijzigd zijn tussen 24 september en 1 oktober 2023.

image
image1729×296 184 KB

De oorzaak hiervan is niet te achterhalen uit de verschillende loggingmogelijkheden die er zijn.

Er zijn een aantal acties uitgevoerd om bij herhaling dit probleem eenduidiger te kunnen analyseren:

  • uitbreiden logtabellen van incrementele Exact-tabellen met circa 20 velden;
  • verfijning opruimen metadata incrementele Exact-tabellen indien eerder opruimen logbestanden niet lukte;
  • in de geautomatiseerde verwerking opgenomen controle met code itgeneor708 dat aantal nieuwe rijen altijd gelijk/hoger is dan aantal oude rijen minus te verwijderen rijen.

De cache van uw omgeving zal geleegd worden.

Gelieve daarna nogmaals te proberen.

Dit zal weer correct werken; de tabel wordt automatisch opnieuw opgebouwd.

De derde acties zal bij herhaling van het oorspronkelijke probleem meteen leiden tot een fatale fout, waarna sneller aan een probleemoplossing gewerkt kan worden.

Mocht deze fout itgeneor708 optreden,

dan kunt de cache legen door op https://bridge-online.cloud rechtsboven in het menu te kiezen voor “Reset Cache”. Invantive Support zal dat sowieso ook op termijn handmatig doen, terwijl een analyse uitgevoerd wordt.

9

Deze vraag is automatisch gesloten na 2 weken inactiviteit. Het laatste gegeven antwoord is gemarkeerd als oplossing.

Gelieve een nieuwe vraag te stellen via een apart topic als het probleem opnieuw optreedt. Gelieve in de nieuwe vraag een link naar dit topic op te nemen door de URL er van in de tekst te plakken.

10

Dit topic is 7 dagen na het laatste antwoord automatisch gesloten. Nieuwe antwoorden zijn niet meer toegestaan.