EOL Trickle Loading: beperkt aantal partities wordt nog maar opgehaald

Na analyse met @mvk bleek dat gedurende het laden de rate limits blijvend overschreden werden. Het inschakelen van WebhookSubscriptions was ook erg lastig.

Uiteindelijk verdwenen na paar weken versies die in de status Seeding bleven hangen de Ready-versies in Obsolete status. Er is een intern bugreport ITGEN-5339 om deze edge case beter te behandelen, maar dat heeft geen prioriteit.

Oplossing was om de data binnen de daglimieten te activeren. Het niet kunnen registreren van WebhookSubscriptions met daglimieten van 100 API calls per administratie is gemeld als showstopper (case 02933420). Naar verluidt zouden de rate limits op de betrokken administraties al enkele weken geleden teruggezet zijn naar 50.000, maar dit komt nog niet naar voren in de headers of werking.

Voor het accuraat meten van het daadwerkelijk gebruik kunnen de instructies gevolgd worden uit API-calls loggen in NDJSON formaat voor bijvoorbeeld Elasticsearch. Dit vereist BETA versie 20.1.365 of hoger. Hierin zitten ook verbeterde versies van de sync API’s TransactionLinesIncremental en ItemsIncremental die als vervanging dienen van TransactionLinesBulk en ItemsBulk.

De door de clientsoftware verstuurde API-calls lijken niet aan te sluiten bij de administratie door de Exact infrastructuur. Dit is nog onderwerp van onderzoek in samenwerking met Exact Support (case 02933442).