Exact Online grote datasets

Ik ben al jaren gebruiker van Invantive en blijf maar stoeien met het volgende probleem.

Bij grote calls krijg ik steeds time-out problemen. Als ik via OData de records dagelijks ophaal gaat dit ok, maar soms moet ik van een administratie de hele set ophalen en kom ik in de problemen.

Is er een goede manier om exact administratie in zijn geheel op te halen bv door paginatie of andere slimme methoden. De incremental/odata oplossingen zijn al de revue gepasseerd.

Is het mogelijk een specifiek voorbeeld toe te voegen?

In het algemeen is via OData een dataset op te halen ruim van pakweg 2 miljoen rijen per administratie. Datasets van in totaal 10 miljoen of meer rijen zijn niet ongebruikelijk maar vereisen wel goede inregeling. Voor grotere datasets raadt Invantive het gebruik van on-premises producten aan zoals Invantive Data Hub of Invantive UniversalSQL Server. Hiermee ligt tot dusver de limiet boven de 200 miljoen rijen per administratie.

Paginering of het overslaan van rijen is bewust niet opgenomen in de mogelijkheden van de Invantive Bridge Online OData-connector gezien de omvang van de datasets en het benodigde werkgeheugen.

Meer tips over het instellen van de time-out zijn te lezen in:

De maximale duur is 6 uur per verzoek.

Het gaat hier om max 200000 records.

Het ophalen van 200.000 records zal ergens tussen de 20 en 200 seconden moeten duren op Exact Online SaaS.

Advies om een specifiek voorbeeld toe te voegen zoals hieronder beschreven:

Aanvullen informatie

Is het mogelijk om een (geanonimiseerde) schermafdruk van de details van het verzoek in Invantive Bridge Online Monitoring toe te voegen zoals beschreven in Meer inzicht met nieuwe Bridge Online Monitoring?

De details vindt u door te klikken op het downloadverzoek welke het onderwerp van dit onderwerp representeert.

Gelieve tenminste de volgende gegevens zichtbaar te laten:

  • de titelbalk met de request ID,
  • de statuscode, netwerkgrootte en tijdstippen in de linkerkolom,
  • de foutcode en foutmelding helemaal onderaan in de linkerkolom,
  • de gehele rechterkolom inclusief het SQL statement, tabelnaam en parameterwaardes.

Controleer gebruiker

Controleer zorgvuldig dat u zich aanmeldt op de Bridge Online-website die ook gebruikt wordt vanuit Power BI. U ziet alleen de verzoeken van de Invantive Cloud-gebruiker waarmee u zich aanmeldt op de website.

Foutmelding en tips per e-mail

Daarnaast zal de Invantive Cloud-gebruiker die de foutmelding heeft op zijn e-mailadres veelal een e-mail ontvangen met een foutmelding en tips als er sprake is van een foutmelding in Power BI, Power Query, Azure Data Factory, Qlik of Tableau.

Advies is om de spam van de betrokken gebruiker te controleren op dergelijke e-mails verzonden vanaf support@invantive.com.

zou ik graag doen , maar monitoring laat me niets meer zien tegenwoordig

Advies is om de gebruikte hyperlink te controleren voor monitoring. Zie ook:

Aanvullen informatie

Is het mogelijk om een (geanonimiseerde) schermafdruk van de details van het verzoek in Invantive Bridge Online Monitoring toe te voegen zoals beschreven in Meer inzicht met nieuwe Bridge Online Monitoring?

De bovengetoonde afbeelding toont enkel het overzicht en niet de details, en heeft ook geen betrekking op het downloadverzoek. Het downloadverzoek bevat een SQL-instructie.

De details vindt u door te klikken op het downloadverzoek welke het onderwerp van dit onderwerp representeert.

Gelieve tenminste de volgende gegevens zichtbaar te laten:

  • de titelbalk met de request ID,
  • de statuscode, netwerkgrootte en tijdstippen in de linkerkolom,
  • de foutcode en foutmelding helemaal onderaan in de linkerkolom,
  • de gehele rechterkolom inclusief het SQL statement, tabelnaam en parameterwaardes.

Controleer gebruiker

Controleer zorgvuldig dat u zich aanmeldt op de Bridge Online-website die ook gebruikt wordt vanuit Power BI. U ziet alleen de verzoeken van de Invantive Cloud-gebruiker waarmee u zich aanmeldt op de website.

Foutmelding en tips per e-mail

Daarnaast zal de Invantive Cloud-gebruiker die de foutmelding heeft op zijn e-mailadres veelal een e-mail ontvangen met een foutmelding en tips als er sprake is van een foutmelding in Power BI, Power Query, Azure Data Factory, Qlik of Tableau.

Advies is om de spam van de betrokken gebruiker te controleren op dergelijke e-mails verzonden vanaf support@invantive.com.

hoe moet ik het duidelijk maken. IK ZIE NIETS IN MONITORING

Advies is om te controleren welke URL gebruikt wordt om de data op te helpen. Wijzig het pad op deze URL vervolgens in /monitoring.

Is dan het downloadverzoek zichtbaar? Gelieve hiervan dan een screenshot toe te voegen van de details.

Is het downloadverzoek niet zichtbaar? Controleer dan de logica van het gebruikte script of Invantive Bridge Online wel benaderd wordt.

Monitoring is weer werkend. Bij het ophalen van grote bestanden gaat het mis. Tijdens het ophalen krijg ik steeds * itgenboe367 en als de grote download klaar is start hij de volgende niet meer en blijft hij deze fout geven. Ik zou graag de monitoring log van beide kanten meesturen. maar weet niet waarnaar ik dit moet doen.

Dit is nu ongeveer 3 weken aan de hand en begint echt een behoorlijk groot probleem te worden.

Graag een snelle reactie

Advies is om de stappen van Exact Online grote datasets - 8 van forums uit te voeren en zo de informatie op te sturen.

Zie onderstaand verzoek. Advies is om het juiste verzoek te selecteren:

Controleer ook zorgvuldig of het verzoek een pad heeft met odata4 of apps. Verzoeken met andere paden zijn over het algemeen niet relevant voor dit doel.

Aanvullen informatie

Is het mogelijk om een (geanonimiseerde) schermafdruk van de details van het verzoek in Invantive Bridge Online Monitoring toe te voegen zoals beschreven in Meer inzicht met nieuwe Bridge Online Monitoring?

De details vindt u door te klikken op het downloadverzoek welke het onderwerp van dit onderwerp representeert.

Het downloadverzoek heeft meestal een SQL-statement waarin de tabelnaam zichtbaar is.

Gelieve tenminste de volgende gegevens zichtbaar te laten van beide kolommen:

  • de titelbalk met de request ID,
  • de statuscode, netwerkgrootte, pad en tijdstippen in de linkerkolom,
  • de foutcode en foutmelding helemaal onderaan in de linkerkolom,
  • de gehele rechterkolom inclusief het SQL statement, tabelnaam en parameterwaardes.

Bijvoorbeeld:

Controleer juiste server en gebruiker

Controleer zorgvuldig dat u zich aanmeldt op de Bridge Online-website die ook gebruikt wordt vanuit Power BI en met dezelfde gebruikersnaam. U ziet alleen de verzoeken van de Invantive Cloud-gebruiker waarmee u zich aanmeldt op de website.

Er zijn vier servers in gebruik:

  • bridge-online.cloud
  • app-online.cloud
  • bridge-online.invantive.com
  • app-online.invantive.com

De gebruikte server ziet u in uw script of broncode van rapportage.

Controleer juiste aanvraag en details

Zorg ervoor dat u het verzoek eerst selecteert om de details weer te geven. Er hoort maar één verzoek zichtbaar zijn in de schermafbeelding.

Controleer ook zorgvuldig of het verzoek een pad heeft met odata4 of apps. Verzoeken met andere paden zijn over het algemeen niet relevant voor dit doel.

Foutmelding en tips per e-mail

Daarnaast zal de Invantive Cloud-gebruiker die de foutmelding heeft op zijn e-mailadres veelal een e-mail ontvangen met een foutmelding en tips als er sprake is van een foutmelding in Power BI, Power Query, Azure Data Factory, Qlik of Tableau.

Advies is om de spam van de betrokken gebruiker te controleren op dergelijke e-mails verzonden vanaf support@invantive.com.

Het bovenstaande downloadverzoek heeft circa 6 minuten gedraaid en is succesvol afgerond met HTTP-status 200.

U kunt de resultaten hiervan gebruiken; er is geen foutmelding opgetreden.

Dat is duidelijk, alleen staat de andere kant te wachtten en blijft hij de oranje fouten geven.

Op het moment dat het downloadverzoek de eindstatus heeft gekregen is alle informatie geretourneerd en de Invantive-logica volledig afgerond.

Advies is om te onderzoeken aan de andere zijde waar het daar blijft hangen.

Na vijf minuten krijg ik jullie oranje balk, de connectie is dan weg maar jullie download wordt wel afgemaakt maar niet opgehaald. Dit is meestal na 5 minuten.

Is er een mogelijkheid om telefonisch contact te krijgen?

Advies is om de schermafdruk van het verzoek dat gefaald heeft toe te voegen volgens bovenstaande instructies.

De support verloopt primair via de forums en indien er reden zijn om aan te nemen dat een sessie nodig is voor 2e of 3e-lijnssupport zal dit aangegeven worden.

Als alternatief kunt u overwegen een consultant te betrekken of via het chatmenu een kort consult te plannen.