Wij maken gebruik van een Power BI-dashboard dat verbonden is met Teamleader en Twinfield. Dit dashboard draait inmiddels ruim een jaar zonder wijzigingen aan het datamodel.
Sinds gisteren ondervinden wij echter problemen bij het verversen van de data. Het proces duurt aanzienlijk langer dan normaal (meer dan 1 uur), en uiteindelijk ontvangen wij de volgende foutmelding:
Is het mogelijk om een (geanonimiseerde) schermafdruk van de details van het verzoek in Invantive Bridge Online Monitoring toe te voegen zoals beschreven in Meer inzicht met nieuwe Bridge Online Monitoring?
De details vindt u door te klikken op het downloadverzoek welke het onderwerp van dit onderwerp representeert.
Het downloadverzoek heeft meestal een SQL-statement waarin de tabelnaam zichtbaar is.
Gelieve tenminste de volgende gegevens zichtbaar te laten van beide kolommen:
de titelbalk met de request ID,
de statuscode, netwerkgrootte, pad en tijdstippen in de linkerkolom,
de foutcode en foutmelding helemaal onderaan in de linkerkolom,
de gehele rechterkolom inclusief het SQL statement, tabelnaam en parameterwaardes.
Controleer zorgvuldig dat u zich aanmeldt op de Bridge Online-website die ook gebruikt wordt vanuit Power BI en met dezelfde gebruikersnaam. U ziet alleen de verzoeken van de Invantive Cloud-gebruiker waarmee u zich aanmeldt op de website.
Er zijn vier servers in gebruik:
bridge-online.cloud
app-online.cloud
bridge-online.invantive.com
app-online.invantive.com
De gebruikte server ziet u in uw script of broncode van rapportage.
Controleer juiste aanvraag en details
Zorg ervoor dat u het verzoek eerst selecteert om de details weer te geven. Er hoort maar één verzoek zichtbaar zijn in de schermafbeelding.
Controleer ook zorgvuldig of het verzoek een pad heeft met odata4 of apps. Verzoeken met andere paden zijn over het algemeen niet relevant voor dit doel.
Foutmelding en tips per e-mail
Daarnaast zal de Invantive Cloud-gebruiker die de foutmelding heeft op zijn e-mailadres veelal een e-mail ontvangen met een foutmelding en tips als er sprake is van een foutmelding in Power BI, Power Query, Azure Data Factory, Qlik of Tableau.
Advies is om de spam van de betrokken gebruiker te controleren op dergelijke e-mails verzonden vanaf support@invantive.com.
Ik ben op dit moment een nieuwe data refresh aan het draaien om te zien waar de foutcodes staan in de monitor overzicht. Wat zou kunnen helpen om dit op te lossen?
De essentiële foutcode hier is itgentmm007. Dit betekent dat de Power BI Service meer processen opstart dan het maximaal aantal dat gelijktijdig uitgevoerd kan worden en dat die ook nog eens elk extreem lang duren.
Er zijn enkele oplossingsmogelijkheden:
overstappen naar een abonnementsvorm met meer parallelle downloads. Meestal kan dit door over te stappen op de huidige 2025 Invantive Office-abonnementsvorm. Dit verhoogt het aantal kanalen van 4 naar 6, maar beperkt het aantal partities voor hetzelfde bedrag tot 25.
zware downloads minder parallel uitvoeren, bijvoorbeeld door ze in de tijd te spreiden.
downloads optimaliseren met filters of slimmere ophaalmethodes.
Bedankt voor het antwoord. Maar na wat onderzoek denk ik dat het probleem ook ergens anders ligt. Het is namelijk erg vreemd dat na bijna een jaar van het ophalen van dezelfde tables, er ineens problemen zijn met de limieten (met een overschrijding van 500%).
Dit gaf mij het vermoeden dat er iets mis gaat in de berekening van het aantal gebruikte seconden per dag. Om deze reden heb ik de afgelopen dagen de refresh uitgezet zodat we de dag kunnen beginnen met de limieten op 0%. Daarna ging ik testen in Power Query, die een limit van 1000 rows toepast op tables, hoe hoog de limieten werden van het ophalen van een aantal tables (deze zijn dus niet parellel uitgevoerd). Het inladen van deze tabellen duurde redelijk lang en eentje heb ik expres niet afgerond om de limieten niet op de blazen. Daarna heb ik een Excel uitdraai gemaakt van de Bridge Online Monitoring:
De Bridge Online Monitoring geeft dus aan dat er 579 seconden is gerefresht. Maar toen ik daarna naar de limieten keek stond er een waarde van 1677 seconden.
Daarna probeerde ik tabel Teamleader.V2.Companies@tlr op te halen. Op deze tabel waren geen transformaties gedaan, alleen een filtering op de opgehaalde kolommen om zo min mogelijk data op te halen. Dit duurde 20 seconden voor 900 rows.
Na een tweede blik op de Bridge Online Monitoring zag ik dat op de achtergrond de tabel die ik niet wilde inladen wel was uitgevoerd met een ‘top 1000’ statement. Hieruit kwamen waardes van tussen de 200.000 en 500.000 ms, terwijl er in deze tabellen weinig transformaties worden uitgevoerd.
Ik heb uiteindelijk van 5 tabellen een top 1000 opgehaald. Na een tweede uitdraai van de monitoring kwam ik uit op ongeveer 2000 seconden. Dit vind ik best hoog voor een top 1000 van 5 tabellen:
overstappen naar een abonnementsvorm met meer parallelle downloads. Meestal kan dit door over te stappen op de huidige 2025 Invantive Office-abonnementsvorm. Dit verhoogt het aantal kanalen van 4 naar 6, maar beperkt het aantal partities voor hetzelfde bedrag tot 25
Zitten hier extra kosten aan verbonden? Aangezien we maar een klein aantal partities ophalen is het meer gewenst om gebruik te maken van meer kanalen.
Op basis van de beschikbare informatie is er geen reden om aan te nemen dat er sprake is van een afwijking omdat er zowel tijdsverschillen qua bijwerkmomenten als qua autorisaties spelen. Uiteindelijk moet e.e.a. convergeren; dit duurt normaliter maximaal 15 minuten.
Merk ook op dat hier meerdere pakketten tegelijk uitgelezen worden (Teamleader, Freshdesk). API rate limieten van elk platform kennen een relatief complexe dynamiek om te doorzien, zeker op Teamleader en Freshdesk. Er is geen reden om een niet-optimale werking aan te nemen.
De overstap van de traditionele Invantive Office-abonnementsvorm naar Invantive Office 2025-abonnementsvorm brengt geen extra kosten met zich mee. De traditionele vorm wordt niet meer aangeboden, maar bestaande abonnementen zijn niet automatisch omgezet. Dit zal mogelijk wel gebeuren over langere tijd.
