Hoe werken de daglimieten? Verschil tussen ADF en Invantive in hoeveelheid verbruikt networkvolume

Ik probeer te doorgronden hoe de daglimieten werken maar ik kom er niet helemaal uit.

Voorbeeld OData uitvraag:

odata4/ExactOnlineREST.Incremental.SalesOrdersV2Incremental@eol?$filter%20=%20OrderDate%20ge%202022-01-01T00:00:00.00Z

Dit zijn de salesorders net een orderdate na 1-1-2022.

Limieten vooraf:

Invantive-FreshBytesPerDay-RateLimit: limit=8000000000, remaining=7992895217, reset=59595
Invantive-TotalBytesPerDay-RateLimitPolicy: 10000000000;w=86400
Invantive-TotalBytesPerDay-RateLimit: limit=10000000000,remaining=9962733712,reset=59595

Limieten achteraf:

Invantive-FreshBytesPerDay-RateLimit: limit=8000000000,remaining=6684019329,reset=58788
Invantive-TotalBytesPerDay-RateLimitPolicy: 10000000000;w=86400
Invantive-TotalBytesPerDay-RateLimit: limit=10000000000,remaining=7344981936,reset=58788

Verschil TotalBytesPerDay is 9.962.733.712- 7.344.981.936 = circa 2,6 GB.

Kijk ik in Azure Data Factory, dan zie ik dit:

waarbij “data read” staat voor 408 MB.

Dat is een behoorlijk verschil. Doe ik iets niet goed in de berekening of werkt het anders misschien?

Ik zie ook nog dit in Bridge Online Monitoring; komt dicht in de buurt van de 408 MB en niet van 2,6 GB:

Mogelijk verklaren deze drie requests in hetzelfde tijdsvenster het verschil:

Merk op dat de statistieken bijgewerkt worden na afronding van een download. Indien meerdere downloads afgerond worden tussen de start en het einde van een verzoek, dan zullen de tellers van dat verzoek ook hun gebruik laten zien.

Er zijn momenteel uitsluitend cumulatieve tellers aanwezig (zie Fair Use Daglimieten voor een Betere Gebruikerservaring); een idee is aangemaakt om tellers voor het request zelf toe te voegen.

Momenteel wordt gewerkt aan een andere grote uitbreiding om meer inzage te geven in het resourcegebruik van queries. Dit biedt mogelijkerwijs ook aanknopingspunten om op termijn de Bridge Online Monitoring uit te breiden met zaken zoals het aantal geraakte partities.

Nou ja, mijn ‘limieten vooraf’ zijn van 07:39, dus na de twee requests van 07:26. Dus dat begrijp ik dan niet.

Maar die 2 requests van 07:26:44 zijn ook interessant, want dit wordt gerekend als 2 x 1,3Gb? Ik haal via ADF maar 1 keer die tabel op?

Deze is lastig met zekerheid vast te stellen. Mogelijke oorzaak is dat afhankelijk van de gebruikte servers en toegangsmechanisme kan een download niet altijd meteen zichtbaar zijn in de totalen van een andere download. Met enige vertraging (afhankelijk van situatie kan die oplopen tot enkele uren) convergeren de totalen wel naar de juiste cijfers; in de tussenliggende periode kan onderrapportage plaatsvinden.

De 2 requests van 07:26:44 worden gerekend als 2 x 1,3 GB = 2,6 GB. Het betreft wel een andere tabel: SalesInvoiceLinesIncremental.

Deze vraag is automatisch gesloten na 2 weken inactiviteit. Het laatste gegeven antwoord is gemarkeerd als oplossing.

Gelieve een nieuwe vraag te stellen via een apart topic als het probleem opnieuw optreedt. Gelieve in de nieuwe vraag een link naar dit topic op te nemen door de URL er van in de tekst te plakken.

Dit topic is 7 dagen na het laatste antwoord automatisch gesloten. Nieuwe antwoorden zijn niet meer toegestaan.