Refresh van Exact Online Incremental erg traag

Sinds een paar dagen is de refresh van Exact Online erg traag, maar ook de dagen daarvoor al erg wisselend:

In de monitor zie je ook dat de data erg traag wordt opgehaald:

En na zo’n beetje 20 a 25 minuten verschijnt deze melding in de monitor, maar ADF loopt gewoon door:

Wat zou er aan de hand kunnen zijn?

De tabel met boekingsregels bevat ruim 4 miljoen boekingen (circa 1 miljoen per jaar).

Enkele van de grote looptijden zijn te verklaren door de migratie van het Invantive-platform naar een andere architectuur (zie Restructuring infrastructure for better scalability). De data zijn versleuteld in rust en konden niet meegenomen worden, waardoor een initiele load nodig is. Die kan met dit volume enkele dagen duren en zal zich mogelijk in de toekomst herhalen.

Het ophalen van de data zal ook te lijden hebben onder de omvang; zelfs met filter dat maar 1 rij doorlaat zullen alle versleutelde bestanden ontsleuteld moeten worden en weer versleuteld.

Het huidige gebruik is circa het achtvoudige van hetgeen mogelijk is met standaard Exact Online. Advies is om een overstap te overwegen naar Exact Online Premium met een upgradepack van 25.000 regels per maand naar bijvoorbeeld 100.000 regels per maand. Zie:

Een alternatief is herstructurering naar losse administraties per juridische entiteit, in plaats van alle juridische entiteiten in 1 administratie te voeren.

Dus als ik het goed begrijp zitten we voorlopig ‘vast’ met deze grote tabel? Want inderdaad ook met een filter op modified voor maar 3 dagen data duurt het langer dan een paar uur en heb ik het maar afgebroken.

Ik snap niet helemaal wat het de upgrade naar Exact Online Premium in dit geval voor voordeel zou kunnen bieden. Er zijn (voor zover ik weet) geen problemen met Exact zelf. En zelfs als ze al zouden overstappen, welk voordeel bied dan de combi Exact Online Premium - Invantive - ADF tov van de huidige combi Exact Online- Invantive - ADF?

Nee, als het goed is, dan moet na het opbouwen van de cache het downloaden mogelijk zijn.

Op basis van de Fair Use-policy zal per dag 10800 seconden downloadtijd mogelijk zijn; dat zou voldoende moeten zijn om alle boekingen in 2 dagen binnen te halen (zie
Anmelden en Fair Use Daglimieten voor een Betere Gebruikerservaring). De daadwerkelijke duur in aantal dagen kan varieren, afhankelijk van de hoeveelheid rekentijd benodigd wordt voor de bijkomende versleuteling en ontsleuteling.

De opmerking over Exact Online Premium behelst dat Exact het Exact Online-product niet aanbiedt voor dit datavolume. Enkel tot 120.000 boekingsregels per jaar.

Helaas is er geen officiele mogelijkheid om Exact Online Premium te koppelen aan Azure Data Factory; men biedt enkel de Power BI-connector. Dit zou mogelijk een alternatief zijn, maar zal mogelijkerwijs ook met dit volume problematisch zijn.

Sinds gisteren werkt dit allemaal weer normaal zonder aanpassingen van mijn kant.

Dank voor update. Mogelijk zijn de caches weer gevuld en kostte dit meerdere dagen.

Deze vraag is automatisch gesloten na 2 weken inactiviteit. Het laatste gegeven antwoord is gemarkeerd als oplossing.

Gelieve een nieuwe vraag te stellen via een apart topic als het probleem opnieuw optreedt. Gelieve in de nieuwe vraag een link naar dit topic op te nemen door de URL er van in de tekst te plakken.

Dit topic is 7 dagen na het laatste antwoord automatisch gesloten. Nieuwe antwoorden zijn niet meer toegestaan.