De laatste dagen lopen wij vaak tegen het probleem aan dat data ophalen mislukt. Diverse foutmeldingen in Power BI.
Vandaag zit ik in de Invantive monitor te kijken en zie ik dat een verzoek erg lang duurt en er zelfs helemaal geen rijen meer opgehaald worden bij sommige tabellen (tijd blijft wel doortellen).
Is dit een gekend probleem, ervaren meer gebruikers dit?
In dit scherm is nog geen SQL-statement zichtbaar, en zijn de tellers nog niet gestart met lopen. In het tabblad “Fasen” is waarschijnlijk te zien dat de download gepauzeerd is in afwachting van andere verzoeken die nog niet beeindigd zijn. Dat kan zijn omdat het maximaal aantal actieve parallelle downloads overschreden dreigt te worden op abonnements- of server-niveau (staat beschreven bij Fasen).
Advies is om bij fasen te kijken naar de meest recente melding.
Mochten er specifieke meldingen optreden, dan is advies om die hier toe te voegen of een apart topic op te voeren.
Vandaar weer hetzelfde euvel. Hierbij een schermafdruk van het tabblad “Fasen”:
Tevens het tabblad “Algemeen”:
Het duurt nogal even en er is nog niets gebeurd.
Wat kan ik hier zelf aan doen? Het liefst zou ik de tabel TransactionLines gebruiken (zonder Bulk of Incremental), maar dat is ons afgeraden eerder vanwege de belasting op het systeem / de limieten.
De laatste melding met code itgenire049 geeft aan dat er nog een andere download actief is op dit moment voor dezelfde tabel.
Dit is waarschijnlijk een van de andere 5 actieve downloads, zoals terug te vinden in de melding met code itgentmm036.
Advies is om te kijken welke andere download van deze tabel al actief is, en de correctheid daarvan te controleren. Als deze niet zichtbaar is, raadpleeg dan uw medegebruikers. U ziet alleen uw eigen verzoeken.
Mocht u aan de andere download niks bijzonders zien, gelieve dan daarvan de schermafdruk toe te voegen.
Dat klopt. Echter vragen wij hier niet zelf om, en naast mij zijn er geen andere gebruikers gegevens aan het ophalen.
Als ik kijk in de monitor zie ik nog een ander verzoek lopen, echter is dit niet door mij geïnitieerd.
Er is maar een rapport aan het vernieuwen.
Beide grijze regels in de schermafdruk zijn dezelfde tabel aan het ophalen (TransactionLinesIncremental).
Uiteindelijk is na herhaaldelijk proberen het gelukt om de gegevens op te halen:
Ik had echter een aantal filters gemaakt om deze download te beperken, maar wat ik in de monitor zie is dat hij een aantal pogingen waagt waarbij ik de filters in de SQL-instructie zie, en daarna begint hij een nieuwe zonder deze instructies. Dan slaagt hij wel.
Ik heb 4x op vernieuwen moeten klikken in Power BI deze ochtend, om er één geslaagde update uit te halen.
Dit was de voorgaande in de monitor welke niet geslaagd was:
Hier staan de filters nog wel in de SQL-Instructie.
De ongefilterde dataset is circa 4 miljoen boekingsregels. Ophalen hiervan binnen 15 minuten is binnen de acceptabel geachte verwerkingssnelheid.
De gefilterde dataset is circa 100.000 boekingsregels. Aangezien TransactionLinesIncremental gebruikt wordt, is een verwerkingssnelheid van 21 minuten ook acceptabel omdat de volledige dataset dan eerst berekend moet worden.
Het verdwijnen van filters hangt meestal samen met de keuzes die Power BI intern maakt. Advies is om filters zo dicht mogelijk tegen de downloadstap aan te plaatsen, zonder tussenliggende berekeningen of veranderingen van het datamodel. Op basis van query folding wordt het filter dan doorgegeven.
Het herhaaldelijk uitvoeren van hetzelfde verzoek is niet ongebruikelijk. Power Query binnen Excel doet dit eigenlijk altijd om eerst “de data te proeven”.
Bij datavolumes boven de 2 miljoen boekingsregels is het advies om waar nodig optimalisaties toe te passen en eventueel te overwegen om elke nacht een dataset met alle rijen te verwerken via Power BI Service en/of een kopie te maken naar een reguliere database. Hiermee kan dan doorgegroeid worden naar minimaal 200 miljoen boekingsregels indien juist opgezet.
De laatste taak is binnen redelijke tijd volbracht inderdaad.
Helaas is deze taak wel meerdere malen opnieuw gestart, ik heb meerdere foutmeldingen gehad in Power BI (timeout).
De filters zitten direct na de download in de query, er zit verder niets tussen.
Voor nu kan ik vooruit, als dit weer voorkomt meld ik het. Ben nog lokaal bezig een model/rapport te bouwen, ik vraag me af wat er straks gaat gebeuren als ik deze publiceer en automatisch laat vernieuwen.
Gezien het datavolume en de gebruikte aanpak is opnieuw melden niet zinvol.
Advies is om met stijgend datavolume optimalisaties door te voeren, bijvoorbeeld zoals beschreven.
Deze vraag is automatisch gesloten na 1 week inactiviteit. Het laatste gegeven antwoord is gemarkeerd als oplossing.
Gelieve een nieuwe vraag te stellen via een apart topic als het probleem opnieuw optreedt. Gelieve in de nieuwe vraag een link naar dit topic op te nemen door de URL er van in de tekst te plakken.
Dit topic is 3 dagen na het laatste antwoord automatisch gesloten. Nieuwe antwoorden zijn niet meer toegestaan.
