CQL, SRU e filtraggio server-side: la via rapida verso officielebekendmakingen.nl

Grazie al filtraggio in tempo reale alla fonte, giornalisti investigativi, cittadini e parlamentari possono trovare in pochi secondi i passaggi giusti tra milioni di pubblicazioni. E questo senza compromessi sull’attualità.

Che tu stia cercando indizi di un cambiamento di politica, processi decisionali su dossier sensibili o basi giuridiche: la combinazione di UniversalSQL e delle API KOOP offre il controllo sul sovraccarico di informazioni.

In questo topic imparerai come Invantive UniversalSQL velocizza enormemente e in modo automatico l’accesso ai set di dati KOOP come Officiele Publicaties. Il funzionamento viene illustrato tramite istruzioni SQL nell’Invantive Query Tool, ma vale anche, ad esempio, per Power BI, Excel e SQL Server Management Studio.

Prestazioni

Le prestazioni di https://repository.overheid.nl sono di circa 100 righe al secondo con una dimensione di pagina di 1.000 righe.

Il driver funziona - come tutti gli altri driver Invantive - sulla base di query in tempo reale per garantire la massima attualità. Con circa 6 milioni di pubblicazioni, non è realistico che ogni richiesta richieda 16 ore o più.

Fortunatamente, il motore Invantive UniversalSQL offre la possibilità di trasmettere filtri, il cosiddetto “server-side filtering”.

E fortunatamente le fonti dati KOOP supportano, tramite CQL come parte di SRU 2.0, anche l’uso di filtri in diversi scenari.

Esempio di Guadagno di Prestazioni con Intervallo di Date

La seguente query richiede tutte le modifiche degli ultimi giorni:

select *
from   entries
where  modified >= to_date('20250614', 'YYYYMMDD')
limit  50

Il motore Invantive utilizza per questo una query CQL su SRU:

https://repository.overheid.nl:443/sru?...&query=(c.product-area==officielepublicaties+and+(dt.modified>=2025-06-14))

che in pochi secondi restituisce le prime 50 modifiche del giorno:

Una variante di questa query è:

select modified, *
from   entries
where  modified > to_date('20250614', 'YYYYMMDD')
limit  50

con la query CQL su SRU:

https://repository.overheid.nl:443/sru?...&query=(c.product-area==officielepublicaties+and+(dt.modified>=2025-06-15))

La query non restituisce risultati. Per fortuna; questo potrebbe equivalere a una retrodatazione. Tuttavia, la query CQL mostra che un > viene riscritto in un >= all’interno di CQL. I metadati di SRU indicano infatti che non è supportato un > su questo campo data. Le prestazioni rimangono buone grazie alla conversione in un filtro che restituisce almeno le stesse righe.

Esempio di Ricerca Veloce su Testo Parziale

È anche possibile cercare in modo efficiente, ad esempio, un testo parziale come il fatto che il titolo inizi con ‘uitschrijving’ (in minuscolo):

select modified, *
from   entries
where  title like 'uitschrijving%'
limit  50

Il motore SQL genera per questo la richiesta:

https://repository.overheid.nl/sru?...&query=%28c.product-area%3D%3Dofficielepublicaties+and+%28cql.textAndIndexes+%3D+uitschrijving%29%29

Questa richiesta utilizza cql.textAndIndexes perché gli operatori = e == non cercano nel testo, ma nei termini di ricerca. Una ricerca con = sul termine di ricerca uitschrijving nel titolo non restituisce alcun risultato per una riga con il titolo uitschrijvingen.

cql.textAndIndexes indica che da qualche parte nella riga o nei documenti (PDF) collegati deve comparire la parola uitschrijving. Il server API KOOP è perfettamente in grado di rispondere molto rapidamente a una domanda di questo tipo. È possibile che questa tecnologia utilizzi, ad esempio, ElasticSearch per effettuare rapidamente ricerche su grandi quantità di dati.

Ovviamente vengono restituite anche righe che contengono uitschrijving in un documento PDF collegato, o in un campo diverso da title. Grazie al filtraggio lato client, queste vengono comunque escluse dai risultati.

Ricerca Veloce su Più Criteri

Le ottimizzazioni applicate da Invantive UniversalSQL vanno oltre il semplice filtraggio su un campo. Per arrivare a costanti da trasmettere, le espressioni vengono valutate e semplificate il più possibile, in modo che ad esempio trunc(sysdateutc) venga anch’essa inoltrata al server API KOOP.

Il motore trasmette anche più criteri contemporaneamente, come dimostra:

select modified, *
from   entries
where  title like 'uitschrijving%'
and    modified >= to_date('20250601', 'YYYYMMDD')
limit  50

con la relativa query CQL:

https://repository.overheid.nl/sru?...&query=(c.product-area==officielepublicaties+and+(cql.textAndIndexes+=+uitschrijving+and+dt.modified>=2025-06-01))

che dopo pochi secondi restituisce già il set di dati: