Questo argomento fornisce informazioni su come, con Invantive SQL, è possibile controllare la quantità di dati recuperati dall’API Twinfield (SOAP).
Le amministrazioni Twinfield a volte contengono molti dati finanziari. Tramite l’API Twinfield è possibile richiedere enormi quantità di dati in un’unica richiesta, che vengono poi restituiti anch’essi in un’unica risposta. Picchi di oltre un gigabyte di dati (non compressi) in un’unica risposta a una richiesta non sono insoliti.
Tre gruppi di API Twinfield: ProcessXML, Finder e BudgetService.svc
Il driver SQL Twinfield di Invantive accede al server API Twinfield tramite tre canali:
- I dati finanziari sono “dati di transazione” e vengono offerti tramite l’URL del servizio
processxml. - Le tabelle con relativamente pochi dati vengono offerte tramite l’URL del servizio
finder. - Le informazioni sul budget sono disponibili tramite l’URL del servizio
BudgetService.svc.
Per le tabelle basate sull’URL del servizio finder e per le informazioni sul budget non è possibile applicare filtri. Questo non costituisce un problema, poiché in questi casi si tratta di quantità di dati relativamente ridotte. Solo per le API dietro l’URL del servizio ProcessXML Invantive SQL offre possibilità di filtraggio.
Il gruppo di API processxml si riconosce dal fatto che l’URL del servizio ha il valore webservices/processxml.asmx, ma è più intuitivo chiedersi se possono tornare molte righe e se le righe cambiano in seguito all’elaborazione delle transazioni. Se la risposta a entrambe le domande è sì, allora si tratta di una tabella del gruppo di API processxml.
Filtri
Visto l’elevato volume di dati, nelle query SQL è utile e consigliabile specificare dei filtri in modo che:
- il server API Twinfield debba svolgere il minor lavoro possibile per selezionare i dati nell’amministrazione,
- i dati finanziari vengano restituiti rapidamente e
- la rete non venga sovraccaricata.
Nel codice SQL, dopo where è possibile inserire filtri che limitano la quantità di dati, ad esempio tutte le registrazioni nel periodo 4 del 2019:
select *
from generalledgerdetails
where FIN_TRS_HEAD_YEARPERIOD = '2019/04'
Inoltro del filtro al server API Twinfield
Non tutti i filtri vengono inoltrati a Twinfield: la query sopra su GeneralLedgerDetails utilizza effettivamente un filtro su anno/periodo, come si può vedere interrogando SessionIOs@DataDictionary:
Ma la query funzionalmente identica:
select *
from generalledgerdetails
where fin_trs_head_year = 2019
and fin_trs_head_period = 4
non utilizza alcun filtro, per cui vengono prima recuperate tutte le registrazioni, che vengono poi filtrate localmente:
Invantive SQL determina autonomamente quali filtri - eventualmente dopo una trasformazione - possono essere inoltrati ai server API Twinfield. Questo processo viene chiamato “filtraggio lato server” (server-side filtering). Maggiori informazioni al riguardo sono disponibili su How to filter data from OData query on Azure Data Factory? - 3 van forums.
Sulla maggior parte delle piattaforme, il filtraggio lato server funziona automaticamente perché è codificato direttamente nel codice o nei metadati, indicando specificamente su quali campi è possibile filtrare. Su Twinfield, l’attuale implementazione Invantive del filtraggio lato server risulta poco pratica, perché Twinfield, tramite i metadati, indica sì quali filtri lato server sono possibili, ma specifica anche quale operatore (uguale, tra valori) deve essere utilizzato.
I filtri supportati si trovano nel contenuto della tabella di metadati Twinfield TableColumnSpecifications:
Qui si può leggere, ad esempio, che per BankTransactions sul campo fin_trs_head_yearperiod può essere utilizzato un filtro con un between.
Anche nella documentazione online di Twinfield è possibile trovare l’elenco dei campi su cui è possibile filtrare più velocemente, come il campo FIN_TRS_HEAD_NUMBER con un between, >=, >, =, < o <=:
Riscrittura della query
Invantive SQL è abbastanza intelligente da riscrivere, per Twinfield, anche l’operatore di uguaglianza di Invantive SQL in un between di Twinfield, quindi ad esempio una query come:
select *
from banktransactions
where fin_trs_head_yearperiod = '2019/01'
utilizza un operatore di filtro between di Twinfield sul campo fin_trs_head_yearperiod. Questo si può anche verificare in SessionIOs@DataDictionary, dove viene mostrata la notazione Invantive:
FIN_TRS_HEAD_YEARPERIOD Equals 2019/01, fin.trs.head.banktype equal bank
Ulteriori dettagli sono disponibili anche nella trace, come spiegato in Hoe krijg ik weer trace files van een geautomatiseerde download met Data Hub? - 2 van forums. Il native call log mostra tutti i dettagli, come descritto in Collect Native Platform Call Data.
Riepilogo
Anche le amministrazioni Twinfield grandi o molto grandi possono essere elaborate facilmente in Invantive SQL o replicate in un database formulando i filtri corretti in una clausola where di Invantive SQL.


