Productiestoring Bridge Online - post mortem

Storing 20 januari 2026

De twee Invantive Bridge Online-nodes zijn 20 januari 2026 tussen 14:25 UTC en 16:00 / 16:15 onbeschikbaar geweest.

Analyse toonde aan dat een aantal queries verspreid over circa 150 Nmbrs-partities enkele miljoenen API-calls uitgevoerd hebben. De gemiddelde snelheid bedroeg 55 Nmbrs API-calls per seconde vanaf 02:00 UTC totdat de diensten onbeschikbaar werden. De betrokken tabellen zijn:

  • Nmbrs.Employees.EmployeeHourComponentsVariableByEmployeeYearPeriod
  • Nmbrs.Employees.EmployeeHourComponentsFixedByEmployeeYearPeriod

Het Bridge Online-platform werd instabiel na circa 2,2 miljoen Nmbrs API-calls. De oorzaak hiervan is onbekend. Voor de langere termijn zal gekeken worden of de software schaalbaarder gemaakt kan worden, maar voorlopig is gekozen om dergelijke volumes niet toe te staan.

Storingen Afgelopen Dagen

De zware belasting de afgelopen periode blijkt herleidbaar naar deze queries. De betrokken periode begon 9 januari 2026.

Tijdelijke Preventie

Tijdelijke preventieve maatregelen zijn getroffen om herhaling van deze situatie te voorkomen.

Langdurige Preventie

Daglimieten worden geintroduceerd op het maximum aantal API-calls per dag per abonnement bij gebruik van gedeelde diensten in het kader van Fair Use. Een kandidaat is een limiet van 200.000 API-calls per dag. Tot op heden zou elk regulier gebruik hierdoor afgedekt worden.

Voor meer analysegemak zal de registratie van Sessie I/O’s op Nmbrs uitgebreid worden met parameters.