Första erfarenheterna av dataintegration på Odoo via Invantive UniversalSQL

Gå till den nederländska versionen

Sammanfattning

Alla Invantive UniversalSQL-produkter stöder Odoo i läs- och skrivläge. Alla tabeller kan enkelt läsas in och läsas. Inför övergången till Odoo har Invantive sin partnerlista från Invantive Estate automatiskt synkroniserad till Odoo. En sådan synkronisering körs redan, bland annat mot Exact Online; det nuvarande bokföringspaketet.

Den nuvarande (självpåtagna) API-gränsen på 60 anrop per minut på Odoo fungerar inte riktigt smidigt. Att ta bort denna gräns ledde till en inläsningshastighet på cirka 43 000 transaktioner per timme.

Att läsa in och synkronisera data med Odoo via det externa API:et visade sig (dock något oväntat) vara mycket stabilt och förutsägbart. Det var en lättnad; Odoos supportkanal är i bästa fall medioker. Att kunna skapa en representativ testmiljö på bara några minuter utan extra kostnad är definitivt en fördel; det möjliggör bättre testning av inläsningsprogramvaran.

Projektets genomloppstid var ungefär 60 gånger kortare än för Exact Online, trots att Invantive har mer än 10 års erfarenhet av tiotusentals Exact Online-administrationer och i princip ingen erfarenhet av Odoo. Den mängd arbetskraft som krävdes var ungefär 15 gånger mindre för samma slutresultat.

Odoo-migrering

De senaste 22.1-utgåvorna av alla Invantive-produkter stöder effektiv läsning och skrivning till Odoo.

Implementeringen av Odoo inom Invantive har sedan återupptagits, efter att problemet med inläsning av abonnemangskod har lösts.

Ett antal affärsappar som används av Invantive har sedan granskats och klassificerats:

App Status Förklaring
ActiveCampaign Pausad Ersatt med Sendinblue av kostnadsskäl. Utvärdera senare om Odoo också kan göra detta på ett tillförlitligt sätt, men med tanke på Odoos e-postproblem ses det för närvarande som en för stor risk.
Basecone Kandidat Förberedelse; se Exact Online.
Calendly Kandidat Förberedelse; etablera först dataintegration med Invantive Estate.
Confluence Live Ersatt av kunskapsappen.
Declaree Kandidat Efter bokföringen.
Discourse Utanför omfattningen Inget realistiskt alternativ i Odoo.
DizzyData Kandidat Förberedelse; se Exact Online.
Dlvr.it Pausad Appen för Social Marketing verkar vara för buggig för att vara ett tillförlitligt alternativ. Under året ser vi om kvaliteten har förbättrats.
Exact Online Kandidat Förberedelse; först dataintegration med Invantive Estate och Exact Online för en gradvis implementering.
Invantive Estate Utanför omfattningen Inget realistiskt alternativ i Odoo.
JIRA Service Desk Live Ersatt av Projects-appen.
JIRA Software Live Ersatt av Projects-appen.
Sendinblue Chat Utanför omfattningen Odoos standardchatt är funktionellt och tekniskt för begränsad för meningsfull chattsupport.
Teams Utanför omfattningen Utanför omfattningen för närvarande med tanke på höga kvalitets- och realtidskrav samt begränsat stöd.

Utmaning: data inläst av misstag

Under implementeringen länkades även samtliga anställdas kalendrar i ett försök att till slut ersätta även Calendly med Odoo. I enlighet med projektmålen studerades Odoos handböcker och videor inte ingående i förväg innan integrationen slogs på. Det visade sig vara förvånansvärt enkelt att genomföra och fungerade dessutom bra.

En sidoeffekt var att kontakter också lästes in om de var involverade i en kalenderbokning. I sig förståeligt; det ger en bättre bild av organisationen. Men avsikten var egentligen att automatiskt synkronisera partnerregistret med Odoo via en dataintegration med Invantive Estate.

Vad är Invantive Estate och Invantive Studio?

Invantive Estate är ett back-office-system som centralt styr och fångar Invantives administrativa process, i kombination med ett integrerat datalager i realtid. Invantive Estate är tekniskt baserat på Invantive Studio; Invantive Studio liknar Odoos kärnlager där metadatabaserad affärslogik, dataelement och processer definieras, vilket automatiskt leder till en fungerande affärsapplikation med samma lagerstruktur som Odoo.

Det finns dock skillnader mellan Invantive Estate och Odoo, och de underliggande lagren.

Detaljer

Den största skillnaden är databasplattformen: Invantive Estate är baserat på Oracle RDBMS, medan Odoo bygger på PostgreSQL. Dessutom ligger Invantive Studios fokus mer på efterlevnad och regelefterlevnadsrapportering med tanke på dess typiska användningsområden med datalager i realtid och tidsresefunktioner, medan Odoo Studio är mycket bättre på att modellera användargränssnitt.

Efterlevnad är viktigt, men särskilt för personuppgifter och finansiella transaktioner. Odoo erbjuder inga tidsresefunktioner, men det erbjuder ett betydligt bättre granskningsspår än Exact Online när det gäller både djup och bredd, vilket gör att Invantive kan realisera förbättringar i att vara In-Control (utan någon ambition att skriva tjocka ISO-böcker) vid övergången.

Invantive Studio har förblivit huvudsakligen aktivt som en Microsoft Windows-produkt i kombination med Oracle, medan Odoo har utvecklats vidare mot webbteknik. Detta syns även i användargränssnitten.

Invantive Studio är traditionellt:

Medan Odoo Studio och apparna huvudsakligen är webbläsarbaserade:

En rolig igenkänning var också att även koncept hade samma namn, till exempel „Additional Business Rules”.

„Additional Business Rules” i Invantive Estate ser ut så här:

Och i Invantive Studio som:

I Odoo är innehållet liknande:

Synkronisera partnerregistret

Vi vill gärna stämma av de kontakter som lästs in i Odoo via anställdas kalendrar med de kontakter som registrerats i det centrala back office-systemet Invantive Estates partnerregister. Det innebär att det måste finnas en relation mellan kontakterna i de två paketen, plus en del tillägg och/eller rensning.

En kontakt i Odoo har två former:

  • ett företag
  • en person

Formen anges på kontaktkortet genom en radioknapp. Denna data delas i Invantive Estate mellan „Organisationer” och „Personer”.

Dataintegrationen från det auktoritativa Invantive Estate till Odoo kräver därför att man slår samman två typer av data till Odoo-kontakter. Relationen bör i slutändan säkerställa att varje medlem i gruppen av personer och organisationer i Invantive Estate förekommer högst (och helst „exakt”) en gång i Odoo. Omvänt bör varje kontakt i Odoo relatera till exakt en person eller exakt en organisation i Invantive Estate.

Kortfattat kan kontakter finnas i Odoo som ännu inte finns i Invantive Estate. Genom att relationen saknas kan dessa identifieras och sedan slås samman med en befintlig relation, raderas i Odoo eller registreras i Invantive Estate.

För tillfället upprättas relationen endast på Odoo-sidan genom att lägga till ett fält på kontakter. Detta fält innehåller en unik referens till källsystemet Invantive Estate.

För organisationer från Invantive Estate är detta texten „LVR-”, plus värdet av organisationens tekniska nyckel. För individer från Invantive Estate är det texten „GBR-”, plus värdet av individens tekniska nyckel. Genom att välja den tekniska nyckeln förblir identifiering möjlig även om namnet på en person eller organisation ändras.

Rensning av redan inlästa kontakter

Plötsligt fanns det cirka 1 000 kontakter i Odoo utan någon relation till Invantive Estate. För att testa genomförbarheten av dataintegration med Invantive UniversalSQL på Odoo gjordes en kopia av produktionsdatabasen. Detta tog några minuter.

Nästa steg var att använda Odoo Studio på kontakter för att lägga till ett fält på modellen res.partner. Fältet heter x_studio_orig_system_reference och är upp till 240 tecken långt:

Fältvärdet inkluderas inte när raden kopieras och hålls medvetet redigerbart för alla användare tills processen fungerar smidigt. Fältet är indexerat eftersom det ofta kommer att sökas efter med en punktfråga huruvida ett visst värde redan finns.

En programmatisk kontroll av unikhet har lagts till som en automatiserad åtgärd så att dubbletter inte kan uppstå utan att ett felmeddelande genereras:

med hjälp av följande kod:

newosr = str(record.x_studio_orig_system_reference)
if newosr is not None:
    existing_records = env['res.partner'].search([('x_studio_orig_system_reference', '=', newosr)])
    if len(existing_records) > 1:
        raise UserError('OSR value ' + newosr + ' must be unique.')

En databas definierades sedan på Invantive som innehåller både Odoo-säkerhetskopian (med alias ‘odoob’) och Invantive Estate (med alias ‘ora’):

I denna databas kan det anpassade fältet också hittas i tabellen res.partner som Invantive UniversalSQL gör tillgänglig för Odoo-modellen med samma namn:

Med hjälp av följande block av Invantive PSQL fylldes sedan fältet x_studio_orig_system_reference för alla kontakter registrerade i Odoo med värdet från en person i Invantive Estate med samma e-postadress:

begin
  for r in
  ( select pnr.id
    ,      'GBR-' || to_char(gbr.gbr_id) orig_system_reference
    from   res.partner@odoob pnr
    join   bubs_gebruikers_v@ora gbr
    on     gbr.gbr_email_adres = pnr.email
    where  pnr.company_type = 'person'
    and    pnr.x_studio_orig_system_reference is null
    order
    by     pnr.id
  )
  loop
    update res.partner@odoob
    set    x_studio_orig_system_reference = r.orig_system_reference
    where  id = r.id
    ;
  end loop;
end;

Det visade sig att cirka 85% av alla kontakter kunde matchas på detta sätt. Resten visade sig bestå av olika grupper:

  • kända kontakter som använder flera e-postadresser; dessa slogs samman i Odoo under den ledande e-postadressen med åtgärden „Merge”.
  • kontakter som inte fanns i back office-systemet men fanns i kalendrarna. Dessa lades till i Invantive Estate.

Etiketter för Odoo-kontakter

Inom Invantive används „etiketter” flitigt. Etiketter används för att flexibelt karakterisera objekt så att till exempel ett e-postmeddelande om en förare kan skickas specifikt och riktat till personer som också sannolikt faktiskt har nytta av denna nyhet.

Etiketter registreras i Invantive Estate som „Klassificeringar”. Klassificeringar i Invantive Estate har en trädstruktur, där decimalpunkten anger en djupare nivå. Ett exempel: klassificeraren „Organization.School.Elementary” har tre nivåer som zoomar in allt mer:

  • det rör sig om en organisation,
  • som dessutom är en skola, och
  • ännu mer specifikt även är en grundskola.

Odoo arbetar också med etiketter i olika delar av apparna. Tekniskt kallas de ibland annorlunda („kategorier”, „taggar” osv.) och ibland har de en trädstruktur och ibland är det bara en platt lista.

För kontakter i Odoo finns det etiketter med en trädstruktur.

Följande SQL-kod läser in några huvudnivåer och sedan motsvarande värden från Invantive Estate till Odoo:

create or replace table PartnerCategories1@InMemoryStorage
as
select 'KLE-' || to_char(kle.kle_id) x_studio_orig_system_reference
,      true Active
,      kle.kle_code_sub name
from   bubs_klassificaties_v@ora kle
where  1=1
and    kle.kle_diepte = 1
and    ... criteria op welke kle.kle_code ...

insert into res.partner_category@odoop
( x_studio_orig_system_reference
, Active
, name
)
select x_studio_orig_system_reference
,      Active
,      name 
from   PartnerCategories1@InMemoryStorage

create or replace table PartnerCategories2@InMemoryStorage
as
select 'KLE-' || to_char(kle.kle_id) x_studio_orig_system_reference
,      true Active
,      kle.kle_code_sub name
,      pnt.id parent_id
--
, kle_code
, pnt.name
, pnt.parent_id_label
from   bubs_klassificaties_v@ora kle
join   res.partner_category@odoop pnt
on     pnt.name = ... filter op kle.kle_code ...
where  1=1
and    kle.kle_diepte = 2
and    ... filter op kle.kle_code ...

insert into res.partner_category@odoop
( x_studio_orig_system_reference
, Active
, name
, parent_id
)
select x_studio_orig_system_reference
,      Active
,      name 
,      parent_id
from   PartnerCategories2@InMemoryStorage

Här utförs inläsningen en gång via insert-satsen.

Det är också möjligt att använda synchronize-satsen för detta ändamål:

synchronize PartnerCategories1@InMemoryStorage
to          res.partner_category@odoop
with        insert or update
identified by name
continue on first 500 errors

Detta uppdaterar även ändringar och begränsar antalet API-anrop som krävs genom att endast utföra ändringar när det är nödvändigt.

Till exempel ser den resulterande listan över kontaktetiketter i Odoo då ut så här:

Testmiljö

Med Odoo är det möjligt att skapa en representativ testmiljö inom några minuter utan extra kostnad. Detta är definitivt en fördel vid testning av dataintegration; det möjliggör bättre testning av programvaran och minskar risken för datafel vid produktionssättning.

Kontakter

Sammantaget gick dessa steg smidigt. Inläsning av organisationer och personer från Invantive Estate till Odoo-kontakter utfördes därefter. Förberedande steg gjordes med koden nedan.

Observera att Odoo endast tillåter val av kontaktspråk som också är installerade, medan Invantive Estate tillåter att vilket språk som helst väljs.

Observera vidare att Odoo tillåter att detaljdata läses in tillsammans med en kontakt, till exempel etiketter. I två minnestabeller gke och lke förbereds därför en lista över etiketterna per person och organisation i förväg.

--
-- Odoo väljer kontaktspråk bland installerade språk, medan
-- Invantive Estate tillåter vilket språk som helst.
--
create or replace table lang@InMemoryStorage
as
select code
,      substr(code, 1, 2) lge_code
from   lang@odoop

--
-- Etiketter på personer per person.
--
create or replace table gke@inmemorystorage
as
select gke.gbr_id
,      listagg(distinct pcy.id, ', ') category_id
from   bubs_gbr_kle_v@ora gke
join   bubs_klassificaties_v@ora kle
on     kle.kle_id = gke.kle_id
join   res.partner_category@odoop pcy
on     pcy.display_name = replace(kle.kle_code, 'Invantive.', '', '.', ' / ')
group
by     gke.gbr_id

--
-- Etiketter på organisationer per organisation.
--
create or replace table lke@inmemorystorage
as
select lke.lvr_id
,      listagg(distinct pcy.id, ', ') category_id
from   bubs_lvr_kle_v@ora lke
join   bubs_klassificaties_v@ora kle
on     kle.kle_id = lke.kle_id
join   res.partner_category@odoop pcy
on     pcy.display_name = replace(kle.kle_code, 'Invantive.', '', '.', ' / ')
group
by     lke.lvr_id

create or replace table gbr@InMemoryStorage
as
select gbr.*
,      'LVR-' || to_char(gbr.lvr_id) lvr_osr
from   bubs_gebruikers_v@ora gbr

Även om företag och kontakter är förenade i en tabell i Odoo är det nödvändigt att läsa in företagen i Odoo först. Kontakter kan annars inte kopplas till sina företag vid den första inläsningen.

Följande tabell förbereder organisationsdata från Invantive Estate för inläsning som företag i Odoo:

create or replace table PartnerSoll1@InMemoryStorage
as
select 'company' company_type
,      'LVR-' || to_char(lvr.lvr_id) x_studio_orig_system_reference
,      lvr.lvr_naam
       name
,      lvr.lvr_email_adres email
,      lvr.lvr_website_url website
,      l.code lang
,      lvr.lvr_werk_tel phone
,      lvr.lvr_mobiel_tel mobile
,      case
       when lvr.lvr_btw_nummer = 'UNKNOWN'
       then null
       when lvr.lvr_btw_nummer = 'N/A'
       then null
       else lvr.lvr_btw_nummer
       end
       vat
,      case
       when lvr.lvr_kvk_nummer = 'UNKNOWN'
       then null
       else lvr.lvr_kvk_nummer
       end
       l10n_nl_kvk
,      null function
,      lvr.lvr_adres_regel_1 street
,      lvr.lvr_adres_regel_2 street2
,      lvr.lvr_plaats city
,      cse.id state_id
,      lvr.lvr_postcode zip
,      cty.id country_id
,      lke.category_id
,      null parent_id
from   bubs_leveranciers_v@ora lvr
left
outer
join   lke@inmemorystorage lke
on     lke.lvr_id = lvr.lvr_id
left
outer
join   lang@InMemoryStorage l
on     l.lge_code = lvr.lge_code
left
outer
join   country@odoop cty
on     cty.code = lvr.lvr_land
left
outer
join   ( select * from country_state@odoop cse ) cse
on     cse.country_id = cty.id 
and    cse.code = lvr.lvr_provincie
where  1=1

Ovanstående kod beräknar country_state i en inre vy för att förhindra att en bugg i Invantives nuvarande Odoo-drivrutin leder till ett fel vid tillämpning av en join-uppsättning.

Denna tabell kan läsas in i Odoo med en synchronize till res.partner.

Personer i Invantive Estate kan läsas in som Odoo-kontakter med hjälp av följande tabell:

create or replace table PartnerSoll2@InMemoryStorage
as
select 'person' company_type
,      'GBR-' || to_char(gbr.gbr_id) x_studio_orig_system_reference
,      replace(trim(gbr.gbr_voornaam || ' ' || gbr.gbr_tussenvoegsel || ' ' || gbr.gbr_achternaam), '  ', ' ') name
,      gbr.gbr_email_adres email
,      gbr.gbr_website_url website
,      l.code lang
,      gbr.gbr_werk_tel phone
,      gbr.gbr_mobiel_tel mobile
,      null vat
,      null l10n_nl_kvk
,      gbr.gbr_functie function
,      gbr.gbr_adres_regel_1 street
,      gbr.gbr_adres_regel_2 street2
,      gbr.gbr_plaats city
,      cse.id state_id
,      gbr.gbr_postcode zip
,      cty.id country_id
,      gke.category_id
,      pnt.id parent_id
from   gbr@InMemoryStorage gbr
left
outer
join   res.partner@odoop pnt
on     pnt.x_studio_orig_system_reference = gbr.lvr_osr
left
outer
join   gke@inmemorystorage gke
on     gke.gbr_id = gbr.gbr_id
left
outer
join   lang@InMemoryStorage l
on     l.lge_code = gbr.lge_code
left
outer
join   country@odoop cty
on     cty.code = gbr.gbr_land
left
outer
join   ( select * from country_state@odoop cse ) cse
on     cse.country_id = cty.id 
and    cse.code = gbr.gbr_provincie
where  1=1

Prestanda

För den första gruppen på 30 000 kontakter bibehölls den egna API-gränsen på 60 anrop per minut under inläsningen. Detta tog dock lång tid trots att etiketterna redan ingick i datainläsningen.

Odoo tillhandahåller inget externt API som kan paketera flera infogningar och/eller uppdateringar som ett enda API-anrop. Efter 30 000 kontakter fattades därför beslutet att inaktivera API-hastighetsgränsen. Ungefär 100 000 kontakter lästes in utan hastighetsgräns. Inläsningshastigheten ökade med en faktor 12 (12 kontakter per sekund i seriellt körd SQL-kod). Även med denna betydligt högre andel API-anrop begränsades eller blockerades inte användningen av det externa API:et av Odoos värdmiljö.

För framtiden överväger vi fortfarande om och hur vi ska begränsa antalet externa Odoo-API-anrop per minut. Odoo har uppenbarligen en bättre än genomsnittlig implementation av API:et som kan hantera höga transaktionsvolymer.

Odoo och Exact Online jämfört

Att läsa in klassificeringar, personer och organisationer från Invantive Estate till Odoo med en Invantive-dataintegrationsfråga var mycket lyckat.

På Exact Online tog en liknande inläsningsåtgärd ungefär 60 gånger så många kalenderdagar på grund av API-gränser, buggar och funktionella begränsningar i Exact Online. Skillnaden i mantimmar var mindre mellan Exact Online och Odoo; det tog cirka 15 gånger fler mantimmar att få data inlästa på Exact Online jämfört med Odoo.

Särskilt märkbart var avsaknaden av buggar i allmänhet och frånvaron av irrationella automatiska dataändringar i synnerhet vid inläsning i Odoo. Detta var dock en oro i förväg; Odoo har alltid varit ganska tekniskt inriktat, och oron var att vi skulle behöva spendera månader i dialog med den medelmåttiga Odoo-supportkanalen för att få buggar åtgärdade. Det visade sig dock att Odoo, när det gäller det externa API:et, fungerar extremt stabilt och förutsägbart, särskilt jämfört med referenspunkten Exact Online.