Vandaag hebben we direct onze limieten overschreden en krijgen we de melding ‘Too Many Requests’. Zie bijgevoegde screenshot voor een overzicht van de overschrijding.
Wanneer ik de session I/O’s bekijk, lijkt de oorzaak een automatisch geplande taak op onze server die een bulk-insert uitvoert op onze SQL-server. Deze taak heeft 1.628 seconden nodig gehad om slechts 3.000 rijen op te halen. We kunnen niet precies achterhalen wat er mis is gegaan. Zouden jullie ons hierbij kunnen helpen?
Is het daarnaast mogelijk om de limieten voor vandaag tijdelijk op te heffen, zodat we onze dagelijkse werkzaamheden kunnen voortzetten?
De oorzaak is nog niet bekend, maar het lijkt om een breed voorkomend probleem te gaan. Dit probleem uit zich door een HTTP 429-foutmelding op Bridge Online, App Online en Cloud UniversalEditor-verzoeken. Meer details zijn te vinden in de HTTP-header Invantive-TotalDurationMsPerDay-RateLimit waar remaining op 0 staat zoals:
Het getal 61040 geeft het aantal seconden tot 00:00 UTC aan vooraleer normaliter het nieuwe venster ingaat. Zie echter ook onderstaande tijdelijke oplossing.
Tijdelijke Oplossing
De totale duur van alle requests gaat bij de meeste gebruikers ruim over de limiet. Als tijdelijke oplossing zijn alle limieten voor totale duur requests verhoogd met een factor 10 voor alle gebruikers. De limieten voor andere requests blijven ongewijzigd.
Deze tijdelijke oplossing is geactiveerd op Invantive Cloud, Invantive Bridge Online en Invantive App Online op 11 oktober om 09:10 CET.
Structurele Oplossing
Zodra de tijdelijke oplossing geleid heeft tot een stabilisatie wordt gekeken naar de achterliggende oorzaken en een wijze waarop dit te voorkomen was geweest. Het valt niet uit te sluiten dat de storing samenhangt met de breaking changes op Exact Online in de nacht van 6 op 7 oktober. Deze changes leiden tot de storing beschreven in Invantive Status - Vaak 429 Too Many Requests op Exact Online administraties welke nog qua impact voortduurt. De itgeneor229 / 429 TooManyRequests van Exact Online leiden helaas voor grote aantallen administraties tot problemen die telkens tenminste een dag aanhouden vooraleer binnen het Exact Online-venster weer opnieuw capaciteit beschikbaar komt voor API-calls.
Analyse
Dit onderwerp wordt nog aangevuld.
Belasting Invantive Cloud-servers
De systeembelasting was vanaf 06:00 CET erg hoog en ruim boven de maximaal beschikbaar gestelde verwerkingscapaciteit. De normaliter beschikbare capaciteit wordt geoptimaliseerd op pakweg 50% gemeten over een periode van 15 minuten. Om 06:00 CET starten enorm veel jobs tegelijk.
Algemeen advies: vermijd starten om 06:00 CET
Algemeen advies is om jobs niet allemaal tegelijk om 06:00 te starten omdat er ook een maximale limiet geldt voor de gehele infrastructuur. Zodra de overschreden wordt (hetgeen voorkomt rond 06:00) zullen alle jobs boven het maximum gepauzeerd worden. Een ander hoogintensiteitsmoment is 00:00 CET.
Er wordt overwogen om individuele Cloud-gebruikers aan te schrijven met verzoek om de load meer te verspreiden over de voorgaande avond en de ochtend.
Een analyse geeft aan dat het probleem in de loop van de dag voorbijgegaan is.
De workaround heeft de Exact Online API-issues opgelost en er zijn niet meer dan een handvol “out of API calls”-foutmeldingen.
De traagheid is achteraf te verklaren aan de hand van de systeemload. Veel downloads zijn uitgevoerd, mogelijk om achterstallig werk in te halen. Het maximaal aantal actieve downloads per abonnement is beperkt om herhaling te vermijden.
