Invantive SQL gjør det enkelt å oppdatere og synkronisere data i stor skala, ettersom teknikken forblir under panseret. Med update-setningen og/eller synchronize-setningen kan du enkelt oppdatere store mengder data i skyapplikasjoner slik at alle forretningsprosessene dine bruker de samme dataene.
Enkelte skyapplikasjoner begrenser antall API-kall av tekniske, fair use- og/eller kommersielle årsaker. Ved overskridelse gis det ofte en feilmelding som «Too many requests» eller en HTTP 429-statuskode.
Det vanlige begrepet for en slik begrensning av API-kall er en «rate limit» (hastighetsgrense). Noen ganger gjelder flere rate limits samtidig, for eksempel per dag, per måned, per minutt, per API, per API-operasjon (lesing/skriving) eller per API-resultat: med eller uten feilmelding.
Ofte kan man da kjøpe ekstra API-kall for å heve rate limit, enten med forhåndsbetaling eller etterskuddsvis avregning. På enkelte plattformer er utvidelse av API-kall-grensen til høyere/ekstra grenser relativt dyrt, med utslag opp mot flere titalls euro per stykk for komplekse kall, mens det på andre plattformer er ekstremt billig.
Det er lurt å utnytte den tilgjengelige kapasiteten i rate limits for API-kall på de riktige tidspunktene, når antallet er begrenset per tidsenhet som måned eller dag. Endringer med lav prioritet bør du gjennomføre mot slutten av perioden for å få maksimalt utbytte av investeringen din i skyplattformen.
Varier antallet API-kall over tid først etter at du har begrenset antallet API-kall; funksjonelle tips om dette finner du i Hoe plan ik mijn Exact Online-omgeving op het beschikbare aantal API-calls?, og tekniske tips for eksempel i Snel en met minder API-calls Exact Online uitlezen met de incrementele "sync API"-tabellen.
Invantive SQL tilbyr funksjoner for å bruke den tilgjengelige kapasiteten i rate limits for API-kall så effektivt som mulig. Den tilgjengelige kapasiteten vises på de fleste plattformer i kolonner i datadictionary-visningen SystemPartitions@DataDictionary. Denne inneholder kolonner for rate limits per dag, time og minutt, samt antall forespørsler i inneværende dag, time og minutt.
For synchronize-setningen kan du angi maksimalt antall endringer som skal utføres. Dette er imidlertid også mulig med de tradisjonelle SQL-setningene update, delete og insert.
Det maksimale antallet endringer for update, delete, insert kan du angi via limit TALL, på samme måte som limit begrenser antall rader fra et utvalg via select.
Dette illustreres ved hjelp av et praktisk eksempel med Exact Online API-et.
Case: Endring av fakturavedlegg
I regnskapssystemet Exact Online kan du for hver relasjon i en administrasjon angi i hvilke formater fakturaene sendes. Dette kan være en kombinasjon av formater, som kombineres til et tall via såkalt «bitwise AND». Verdien «1» betyr for eksempel kun salgsfakturaer i PDF-format, verdien «2» betyr UBL-format, og verdien «3» betyr både PDF- og UBL-format.
I en Exact Online-database med administrasjoner som hver har 50 000 relasjoner, må formatet på fakturavedleggene endres fra PDF pluss UBL til kun PDF for alle administrasjoner. Antallet API-kall per dag på Exact Online er imidlertid bare en brøkdel av de 50 000 API-kallene som trengs, og konverteringen har lavere prioritet enn den daglige behandlingen.
Derfor gjennomføres endringene i Exact Online mot slutten av dagen, for å bruke opp et eventuelt gjenværende API-kall-budsjett med disse ekstra forespørslene.
Høyest prioritet har denne endringen for salgskunder; de øvrige relasjonene har ennå ikke kundestatus.
I jobben kan antallet endringer på Exact Online begrenses til 10 via følgende oppdatering:
use SELECTIE_ADMINISTRATIES@eol
update exactonlinerest..accounts@eol
set InvoiceAttachmentType = 1
where InvoiceAttachmentType = 3
and status = 'C'
limit 100
Merk at det her ikke brukes Exact Online-tabellen AccountsIncremental; denne er skrivebeskyttet (kun lesing) og ville krevd en mer kompleks synchronize-setning, mens where-klausulen takket være Invantives server-side filtrering og Exact Onlines filter kan sendes direkte til Exact Online, slik at det bare trengs 1 Exact Online API-kall for å hente radene som skal oppdateres.
Denne setningen vil - dersom det fortsatt finnes kunder som trenger en endring - være ferdig etter omtrent 3 sekunder.
Et eventuelt gjenværende API-kall-budsjett kan brukes til å stille inn type fakturavedlegg også for ikke-kundene:
use SELECTIE_ADMINISTRATIES@eol
update exactonlinerest..accounts@eol
set InvoiceAttachmentType = 1
where InvoiceAttachmentType = 3
limit 100
Forfining: flere administrasjoner
Masseendringen kan enkelt utvides til flere administrasjoner. Angi først administrasjonsutvalget for dette, for eksempel for alle Exact Online-administrasjoner:
use all@eol
update exactonlinerest..accounts@eol
set InvoiceAttachmentType = 1
where InvoiceAttachmentType = 3
and status = 'C'
limit 1000
update exactonlinerest..accounts@eol
set InvoiceAttachmentType = 1
where InvoiceAttachmentType = 3
limit 1000
Siden API-grensene på Exact Online for øyeblikket gjelder per administrasjon, er det mulig å sette grensen høyere. I dette eksempelet er det tatt utgangspunkt i 10 administrasjoner, der de 1000 oppdateringene gjennom parallell behandling grovt sett vil bli fordelt over alle 10, med mindre mengden nødvendige API-oppdateringer per administrasjon varierer betydelig.
Forfining: kun bruk av ledig API-kall-kapasitet på kortest mulig tid
En mer avansert forfining er å begrense antallet API-kall til det tilgjengelige antallet for en administrasjon, samt å minimere gjennomløpstiden (uten parallellisering).
Følgende blokk med Invantive PSQL utfører korte serier med oppdateringer om gangen, der lengden er valgt slik at Exact Onlines minuttgrense på 60 API-kall per minutt fylles opp så raskt som mulig:
declare
l_did_work boolean;
l_dummy_cnt number;
g_max_call_per_minute pls_integer := 50 /* Litt lavere enn 60 for å kunne bytte oftere. */;
begin
use all@eol;
--
-- Sørg for at tallene for gjenværende API-kall er oppdaterte
-- ved å berøre alle administrasjonene kort.
--
select /*+ http_disk_cache(false) http_memory_cache(false) */ count(*)
into l_dummy_cnt
from exactonlinerest..journals@eol
;
l_did_work := true;
while l_did_work
loop
dbms_output.put_line('I løpet av et minutt forsøke å nå API-kall-minuttgrensene per administrasjon.');
l_did_work := false;
for r
in
( select 'update exactonlinerest..accounts@eol'
|| ' set InvoiceAttachmentType = 1'
|| ' where InvoiceAttachmentType = 3'
|| ' limit '
|| to_char
( case
when DAILY_REMAINING > g_max_call_per_minute
then g_max_call_per_minute
else DAILY_REMAINING
--
-- La 500 Exact Online API-kall stå igjen til uventede
-- prioriteringer senere i dag.
--
- 500
end
)
stmt
, 'Oppdater maksimalt '
|| g_max_call_per_minute
|| ' rader i administrasjon '
|| code
|| ' - '
|| name
txt
from SYSTEMPARTITIONS@DataDictionary
where IS_SELECTED = true
and PROVIDER_NAME = 'ExactOnlineAll'
and PROVIDER_DATA_CONTAINER_ALIAS = 'eol'
--
-- Det må fortsatt være minst 500 API-kall igjen
-- i dag for denne administrasjonen.
--
and DAILY_REMAINING > 500
)
loop
dbms_output.put_line(r.txt);
execute immediate r.stmt;
l_did_work := true;
end loop;
end loop;
end;