Ik ben bezig met het opzetten van een datawarehouse gebaseerd op 7 Exact Online administraties waarvan 3 grote administraties.
De techniek is Azure Data Factory met een Azure SQL database.
Hiervoor moet ik in ieder geval 4 miljoen TransactionLines synchroniseren/overhalen. De eerste keer probeer ik nu te doen met een filter op FinancialYear (jaar voor jaar). Dat valt al niet mee, maar dat zal uiteindelijke wel lukken.
Maar hoe kan ik dus nu het beste elke nacht synchroniseren?
Het beste wat ik nu kan bedenken is alleen de huidige FinancialYear (er van uitgaande dat de voorgaande afgesloten zijn en niet meer veranderen, dat moet ik nog met de klant overleggen). Maar dat zijn nu in november ook al weer 1 miljoen regels.
Op zich moet dit volume te doen zijn via Invantive Cloud.
Het is mogelijk dat Azure Data Factory zich als ETL-tool soms verslikt in de volumes; daar zijn af en toe klachten over. We proberen Microsoft te motiveren om hierin stappen te zetten, maar uiteindelijk bepalen ze zelf hun producten. Een ticket kan eventueel ingediend worden.
Mocht een alternatief nodig zijn, dan is een alternatief om zelf Invantive Data Hub te draaien tegen Invantive Cloud of directe verbinding, of Invantive Cloud rechtstreeks naar Azure SQL Server te laten schrijven door een applicatie te gebruiken. Een eenvoudig voorbeeld is te vinden op Elementaire datareplicatie tussen Exact Online en Azure SQL Server.
Gezien datavolume is het verstandig om te optimaliseren. Invantive Cloud is een gedeelde omgeving en excessief gebruik wordt afgeremd.
Voor zwaardere datavolumes is het alternatief genoemde Invantive Data Hub; die kan volledig op eigen apparatuur gedraaid worden buiten de Invantive Cloud om. Voor echt grote volumes is er nog de Data Replicator die meerdere duizenden administraties kan verwerken.
Samengevat advies is om:
te beginnen met 1 jaar overhalen via Invantive Cloud en ADF
als ADF problematisch is, dan Invantive Cloud rechtstreeks naar Azure SQL Server laten schrijven
Deze vraag is automatisch gesloten na tenminste 2 weken inactiviteit nadat een mogelijk passend antwoord is gegeven. Het laatste gegeven antwoord is gemarkeerd als oplossing.
Gelieve een nieuwe vraag te stellen via een apart topic als het probleem opnieuw optreedt. Gelieve in de nieuwe vraag een link naar dit topic op te nemen door de URL er van in de tekst te plakken.