Voor het kopieren van gegevens uit cloudapplicaties naar SQL Server worden zowel Data Hub als Data Replicator genoemd. Wat is het verschil?
Invantive Data Hub is een applicatie die je via de commandoregel (command.com zeg maar) kunt starten en automatisch scripts kunt laten uitvoeren via de Taakplanner (Windows) of crontab (MacOSX, Linux).
Vrijwel elke serieuze automatisch herhalende verwerking op een eigen server gebeurt met Invantive Data Hub. Alternatieven zijn het gebruik van eigen C# code met de ADO.NET provider Invantive Bridge en scheduled jobs via Invantive Cloud.
Invantive Data Replicator is een extra driver die in principe in combinatie met alle Invantive SQL producten te gebruiken is. Data Replicator zorgt er voor dat je met Invantive SQL ook terabytes aan datawarehouses kunt managen voor duizenden bedrijven. Maar Invantive Data Replicator wordt meestal gebruikt samen met Invantive Data Hub.
Standaard kun je met de Invantive SQL engine beschikbaar binnen bijvoorbeeld Invantive Data Hub al gegevens kopieren tussen bijvoorbeeld cloudapplicaties en SQL Server (zie Copy Exact Online to SQL Server voor een voorbeeld). Dat kopieren gebeurt meestal met een create or replace table statement die in een grote bulk gegevens bij de bron ophaalt en wegschrijft in een andere omgeving.
De create table maakt automatisch een aantal indexen aan en zorgt er voor dat de datatypes op de juiste manier omgezet worden. Echter, gedurende het laden is de doeltabel helemaal niet bruikbaar of er staat maar een deel van de gegevens in. Ook kan het datavolume dusdanig zijn dat het niet meer praktisch werkt: 500 Visma Net Financials administraties hebben soms zoveel gegevens dat je eigenlijk nooit een moment overhoudt waarin alle gegevens klaar staan voor queries in de doeltabel. Ook het “slim laden” door alleen gemuteerde gegevens te verwerken in de uitgangssituatie is vaak niet mogelijk met Invantive SQL alleen.
Een deel van de nadelen kun je opvangen met het synchronize statement van Invantive SQL zoals uitgelegd in Synchroniseer uw gegevens met één SQL-statement over meerdere cloudplatformen heen.
De Invantive Data Replicator driver zorgt er voor dat ook grote tot heel grote datawarehouses geladen en gebruikt kunnen worden met extra features zoals:
- Automatische staging: de gegevens in de doeltabel zijn 24x7 beschikbaar omdat er automatisch een zogenaamde “staging” (laad-)omgeving gemaakt en bijgehouden wordt. Pas zodra het laden klaar is vindt er een “omslag” plaats.
- 24x7: deze omslag is atomair zodat nog lopende queries op de doeltabel blijven draaien.
- Fijnkorrelig: het laden gebeurt per “partitie”. Grote omgevingen hebben vaak tientallen tot duizenden partities zoals Visma Net Financials of Twinfield administraties. Elke partitie wordt apart gemanaged en individueel geladen. Ook als enkele partities niet bruikbaar zijn omdat bijvoorbeeld de eindklant niet aan zijn verplichtingen heeft voldaan blijft het laadproces voor de rest draaien.
- Slim: het laden gebeurt slim. Met bijvoorbeeld “trickle loading” worden op ondersteunde platformen alleen mutaties verwerkt in plaats van de gehele dataset.
- Metadatamanagement: de meeste benodigde veranderingen in de structuur van de doeltabel bijvoorbeeld bij nieuwe metadata gebeuren automatisch onder controle van Data Replicator.
Op deze wijze kun je met Data Replicator met gemak meerdere terabytes aan gegevens in datawarehouses managen van tientallen of duizenden bedrijven, terwijl Data Hub dit volume niet haalt en relatief meer kostbaar handwerk vereist naarmate het datavolume groeit.
Invantive Data Hub begint qua maandelijkse abonnementskosten van EUR 49 voor 2 partities en 1 server lager dan Data Replicator met EUR 99 voor 100 partities en zonder serverlimiet. Echter, vanaf 50 partities is Data Replicator vaak nog eens goedkoper, terwijl er hetzelfde en meer geboden wordt.
De benodigde Invantive SQL kennis om alle Data Replicator features te gebruiken is groter. Veel gebruikers beginnen daarom met Data Hub en groeien indien nodig door naar Data Replicator.
De rule of thumb regels zijn:
- Gaat het om maar enkele gigabytes aan data en bijvoorbeeld enkele miljoenen rijen?
- Is het niet erg als gedurende het laden de rapportages niet gebruikt kunnen worden?
- Gaat het om maximaal 10 bedrijven?
Dan is Data Hub meestal de beste keus.
- Gaat het om meer dan enkele GB data of meer dan 10 bedrijven?
Dan is Data Replicator meestal de beste keus.
OEM-partners van Invantive die rapportage-oplossingen aanbieden met Invantive SQL onder de motorkap gebruiken in het algemeen Invantive Data Replicator; het gaat vaak om honderden of duizenden bedrijven.