Bij een van onze pipeline runs blijven we na meerdere retries de volgende error ontvangen:
ErrorCode=ODataFailedClientCreation
'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException
Message=Failed to create odata connection to RequestUrl.
Source=Microsoft.DataTransfer.Runtime.ODataConnector
''Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException
Message=Failed to get metadata of odata service, please check if service url and credential is correct and your application has permission to the resource.
Expected status code: 200, actual status code: ServiceUnavailable, response is :
503 Service Unavailable
No server is available to handle this request.
Het betreft het aanspreken van de ExactOnlineREST.Incremental.TransactionLinesIncremental@eol-endpoint via OData. Is toevallig iets aan de hand bij Invantive? Deze error treedt op bij één database gek genoeg.
Is het mogelijk om een (geanonimiseerde) schermafdruk van de details van het verzoek in Invantive Bridge Online Monitoring toe te voegen zoals beschreven in Meer inzicht met nieuwe Bridge Online Monitoring?
De details vindt u door te klikken op het downloadverzoek welke het onderwerp van dit onderwerp representeert.
Het downloadverzoek heeft meestal een SQL-statement waarin de tabelnaam zichtbaar is.
Gelieve tenminste de volgende gegevens zichtbaar te laten van beide kolommen:
de titelbalk met de request ID,
de statuscode, netwerkgrootte, pad en tijdstippen in de linkerkolom,
de foutcode en foutmelding helemaal onderaan in de linkerkolom,
de gehele rechterkolom inclusief het SQL statement, tabelnaam en parameterwaardes.
Controleer zorgvuldig dat u zich aanmeldt op de Bridge Online-website die ook gebruikt wordt vanuit Power BI en met dezelfde gebruikersnaam. U ziet alleen de verzoeken van de Invantive Cloud-gebruiker waarmee u zich aanmeldt op de website.
Er zijn vier servers in gebruik:
bridge-online.cloud
app-online.cloud
bridge-online.invantive.com
app-online.invantive.com
De gebruikte server ziet u in uw script of broncode van rapportage.
Controleer juiste aanvraag en details
Zorg ervoor dat u het verzoek eerst selecteert om de details weer te geven. Er hoort maar één verzoek zichtbaar zijn in de schermafbeelding.
Controleer ook zorgvuldig of het verzoek een pad heeft met odata4 of apps. Verzoeken met andere paden zijn over het algemeen niet relevant voor dit doel.
Foutmelding en tips per e-mail
Daarnaast zal de Invantive Cloud-gebruiker die de foutmelding heeft op zijn e-mailadres veelal een e-mail ontvangen met een foutmelding en tips als er sprake is van een foutmelding in Power BI, Power Query, Azure Data Factory, Qlik of Tableau.
Advies is om de spam van de betrokken gebruiker te controleren op dergelijke e-mails verzonden vanaf support@invantive.com.
Op dit moment lijkt sprake van het meerdere keren per uur kortstondig wegvallen van de verbindingen naar https://bridge-online.cloud op de load balancer.
De load balancer verdeelt de werkzaamheden onder het serverpark. Op basis van een meetmethode bepaalt deze of een server beschikbaar is. Dit lijkt herhaaldelijk fout te gaan. Er wordt gekeken of de oorzaak in de nieuwe softwarerelease zit met verbeteringen voor locking of onverhoopt een algemeen probleem.
Zodra meer informatie beschikbaar is zal dit topic bijgewerkt worden.
De storing trad alleen op op https://bridge-online.cloud omdat dit de meest intensief gebruikte server is. De load balancer gaf regelmatig een time-out bij het berekenen van de gezondheidstoestand doordat dit te lang duurde.
Voorlopig is de hoeveelheid herberekeningen beperkt. Een optimalisatie van de bepaling van de gezondheidstoestand zal doorgevoerd worden om te komen tot een blijvende oplossing.
Na verdere analyse bleek dat de gestegen verwerkingsvolumes de programmatuur op een klein onderdeel de parten speelt, vooral als een server al grote aantallen verzoeken heeft verwerkt.
Een optimalisatie van de performance zal doorgevoerd worden.
Als workaround zijn de time-outs opgehoogd. Als het goed is, dan treedt de 503 niet of hoogstens enkele keren per dag nog op.
Correct. Sinds gisteravond 23:25 bleef de meestgebruikte server bridge-online.cloud telkens time-outs geven op een methode die gebruikt wordt door de loadbalancer om zijn gezondheid te bepalen. De gemiddelde tijd per methode was 14 seconden, terwijl de limiet momenteel 10 seconden is. Deze meetmethode is nodig om een ander probleem op te lossen.
Vanochtend om 08:55 is een verbeterde softwarerelease in productie genomen om de prestaties te verbeteren. In de loop van vanochtend zal de limiet verder opgehoogd worden om verdere storingen te voorkomen. Er zal gewerkt worden aan verdere optimalisaties.
Adviezen als workaround zijn:
Overweeg jobs voor 0:00 CET te starten in plaats van klokslag 0:00. In de avonduren is het bijzonder rustig.
Herstart jobs als dat niet automatisch gebeurt.
Gebruik nieuwe server bridge-online.invantive.com in plaats van bridge-online.cloud. Deze is verder identiek.
Een aantal verbeteringen zijn in productie genomen om de prestaties voor het meetpunt voor de loadbalancer verder te verbeteren.
Naar verwachting zijn ook indien de servers meerdere dagen achter elkaar blijven draaien de prestaties voor het meetpunt tenminste 50x sneller zijn. Hiermee wordt naar verwachting langdurig het 503-probleem voorkomen, ook bij de huidige instroom van nieuwe gebruikers en intensivering van gebruik.
Zondagochtend ervaarden een aantal van onze pipelines weer de 503 error. Dit was tussen 08:40 en 10:40. De rest van de dagen zijn geen 503 errors opgetreden (in de afgelopen 7 dagen).
Deze vraag is automatisch gesloten na 1 week inactiviteit. Het laatste gegeven antwoord is gemarkeerd als oplossing.
Gelieve een nieuwe vraag te stellen via een apart topic als het probleem opnieuw optreedt. Gelieve in de nieuwe vraag een link naar dit topic op te nemen door de URL er van in de tekst te plakken.
