Sinds zaterdag werken onze Azure Data Factory pipelines die gebruik maken van App Online voor Teamleader niet meer. We hebben de timeout van deze pipelines veelal op 2 uur staan, en een retry van een aantal keer.
Het valt op dat vrijwel alle pipelines (grote en kleine tabellen) de timeout halen, dus er wordt geen data opgehaald. Het handmatig draaien van een request richting Teamleader.V1.invoices (normaal binnen een minuut de complete response), draait inmiddels al meer dan 2 uur.
In de System Messages in Invantive Cloud kan ik niets vinden; ook niet dat deze request aangekomen en bezig is. Bij Exact Online werkt App Online nog wel, maar bij Teamleader dus niet.
Ik heb zojuist de invoices_v1 pipeline nogmaals gestart op Azure Data Factory. Deze zal na 2 uur timeouten als het probleem zich nog voordoet (maar ook dat zou zichtbaar moeten zijn in de monitoring)
Zowel via Postman als via Azure Data Factory toont deze request ineens weer normaal gedrag. Dus het lijkt weer te werken. Vannacht draait er weer een volledige refresh, dus ik zal morgen eens kijken of er dan wat fout is gegaan weer.
Hebben jullie iets aangepast na mijn melding van eerder vandaag? Toen ging het nog fout namelijk. En is een error als deze in de toekomst te voorkomen?
Ondertussen heeft een van onze collega’s contact opgenomen om het probleem te analyseren. Ondertussen is redelijk duidelijk wat dit probleem veroorzaakt.
De analyse wijst uit dat er een opeenstapeling is van opvolgende HTTP requests op App Online. De opeenstapeling wordt veroorzaakt doordat een verzoek blijft hangen, er daarmee alle opvolgende HTTP requests geblokkeerd worden.
Er wordt gewerkt aan een oplossing voor dit probleem.
De oorzaak (een zogenaamde “deadlock” die sporadisch optreedt) is gevonden en opgelost. De oplossing zal voor 1 september 2022 in productie genomen zijn. Daarna zou het probleem van het niet-afwerken van HTTP-verzoeken op App Online en Bridge Online niet meer mogen optreden.
Inmiddels is gebleken dat de deadlock nog kan optreden. Workaround is om het aantal aanroepen te beperken aangezien het aantal deadlocks lineair schaalt met het aantal oproepen van URL’s.
Inmiddels is ook een extra fix in productie genomen die het probleem verder of geheel zou moeten oplossen. Mocht het probleem nog optreden, gelieve dan een reactie toe te voegen.
Deze vraag is automatisch gesloten na tenminste 2 weken inactiviteit nadat een mogelijk passend antwoord is gegeven. Het laatste gegeven antwoord is gemarkeerd als oplossing.
Gelieve een nieuwe vraag te stellen via een apart topic als het probleem opnieuw optreedt. Gelieve in de nieuwe vraag een link naar dit topic op te nemen door de URL er van in de tekst te plakken.