50 GB verbruik qua netwerkverkeer is extreem veel, zeker als het niet gaat om honderden omgevingen. Een aantal adviezen zijn:
Analyse
Het is niet bekend welke monitoring tools Azure Data Factory zelf biedt voor een netwerkverkeeranalyse. Daarom wordt hier enkel beschreven vanuit Invantive Cloud. De meestgebruikte opties zijn:
Monitoring
Veel details zijn beschikbaar vanaf bijvoorbeeld de Cloud-pagina “Tijdslijn”. Zie ook:
Sessie I/O’s
Het scherm Sessie I/O’s toont ook het netwerkverkeer van Invantive Cloud naar Azure Data Factory, naast de individuele API-calls.
Merk op dat enkel de I/O’s sinds 0:00 UTC huidige dag beschikbaar zijn.
SQL-queries
De verwerking van een query kan gedetailleerd bekeken worden via queries op de datadictionary. Zie:
Veel Voorkomende Optimalisaties
Compressie
Bij gebruik van OData is advies om data gecomprimeerd uit te wisselen. Geef aan via de reguliere HTTP-header dat de data gecomprimeerd verstuurd kan worden. Zie:
Dit scheelt normaliter grofweg een factor 10.
Horizontaal Filteren
In het algemeen is het advies om velden met grote inhoud weg te laten zoals bij relaties en artikelen:
ExactOnlineREST.CRM.Accounts@eol
ExactOnlineREST.Logistics.Items@eol
Specifiek op Twinfield is het ook aan te raden om null-waardes over te slaan, zie ook:
Verticaal Filteren
In het algemeen is advies om filters toe te passen indien u van mening bent dat Items gebruikt moet worden in plaats van ItemsIncremental of ItemsBulk.
Merk op dat UniversalSQL “server-side filtering” kent. Zie bijvoorbeeld:
Op de *Bulk-tabellen kan ook gefilterd worden, maar iets beperkter effectief dan op de niet-bulk. Op de *Incremental-tabellen zal een filter enkel binnen UniversalSQL toegepast worden. De engine verwerkt alle rijen in de tabel. Zie ook:
Van de volgende tabellen kunt u de keuze tussen varianten en juiste filters overwegen: