Metadata, wat is dat?
Alle Document Management Systemen (DMS) slaan documenten op als ongestructureerde data. Dat is voldoende om het document te reproduceren. Maar als je duizenden of miljoenen documenten hebt, dan is het lastig om iets terug te vinden. Ook al zou je kunnen zoeken à la Google, dan nog is het lastig. Daarom kun je in de meeste DMS oplossingen, zoals Microsoft SharePoint of FileNet, extra gegevens koppelen aan het document, zogenaamde ‘metadata’. Deze metadata zijn een soort ‘stickers’ die op het document worden geplakt. Een voorbeeld van zo’n sticker is ‘Naam Klant’.
Hierdoor is het mogelijk om snel alle documenten te doorzoeken op waarde van ‘Naam Klant’. De inhoud van de stickers zijn ook te gebruiken om een document in meerdere mappen zichtbaar te maken. Het document verschijnt bij de klant, maar ook bij de vertegenwoordiger als zijn naam op de sticker ‘Vertegenwoordiger’ staat. Hierdoor is de knellende beperking van de traditionele dossierkast verleden tijd. Een(origineel) document kan maar in één map tegelijk zitten.
Nadelen in de moderne wereld
Het gebruik van metadata helpt je zo om snel en doelgericht documenten terug te vinden. Echter, voor langdurig gebruik heeft deze manier van werken een aantal nadelen. Want wat is er aan de hand?
De wereld om ons heen verandert sneller dan vijftig jaar geleden. Wat vandaag nog een bekend merk koekjes is van een zelfstandige fabrikant, is morgen onderdeel van een wereldwijd concern en overmorgen weer opgesplitst in een deel voor biscuitjes en een deel voor cake. Maar de geldigheid van juridische documenten lijkt alleen maar te groeien: was de consument vroeger al blij met een jaar garantie, tegenwoordig mag hij verwachten dat het product een levensduur haalt die van het product verwacht mag worden. Met of zonder geschreven garantie.
Ook bij de uitvoering van projecten is dit merkbaar. Een stedelijke herontwikkeling kent een horizon van dertig jaar of soms langer. Maar gedurende de rit zijn de plannen tien keer gewijzigd en zijn de betrokken partijen die het project opleveren niet meer dezelfde als degenen die jaren eerder aan de wieg van de herontwikkeling stonden.
Een document blijft al deze tijd echter geheel of gedeeltelijk relevant. Bijvoorbeeld omdat het een ontwerp is waarop een calculatie is gebaseerd of omdat het een juridische overeenkomst is. Maar hoe vind je nog snel een documenten terug als in de tussentijd de naam van de wederpartij vier keer gewijzigd is? Laat staan het antwoord op de vraag: wat was de inhoud van de contracten die drie jaar geleden bij een fusie door beide partijen zijn ingebracht en waarvan beide partijen op dat moment ook wisten dat ze er waren?
Voor dit soort vraagstukken voldoen simpele metadata niet. Metadata zoals ‘Naam Klant’ kennen meestal geen ‘inzichtmoment’ als: wat was de situatie drie jaar terug? En metadata veranderen niet mee als de wereld om hen heen verandert. In een bibliotheek waarvan de literatuur honderd jaar teruggaat merken we dit ook, archivarissen hebben speciale systemen om toch nog stukken terug te vinden. Geweldig, maar duur en relatief langzaam voor digitaal opvragen.
Wat gaat er fout?
De eerste stapjes naar een oplossing worden gezet met bijvoorbeeld ‘managed metadata’, maar voor een structurele oplossing moeten we terug naar de relationele theorie. Het eerste probleem is dat belangrijke gegevens meervoudig worden opgeslagen. Als op ieder document de naam van dezelfde klant staat en de naam wijzigt door een overname of herstructurering, dan is het nodig om alle stickers te controleren. Een gedeelte van de documenten gaat over naar de nieuwe organisatie, maar een gedeelte van de documenten blijft bijvoorbeeld achter in een project. Een arbeidsintensieve maar correcte werkwijze is om alle documenten opnieuw te classificeren en te voorzien van de juiste stickers. Even snel alle namen technisch bijwerken is onvoldoende. Want ja, er zal maar in het document staan dat het bij een project hoort en laat dat project nu net achterblijven in een sterfhuis. Ja, het correct bijhouden is een rotklus die veel tijd en kennis vergt.
Het tweede probleem komt nu naar voren: we spreken wel over de naam van de klant, maar de naam van de klant is een afgeleid gegeven. Het kan zijn dat het een brief is over een project en dus in het projectdossier valt, maar het kan net zo goed een adreswijziging zijn van het hoofdkantoor. Of een offerte voor de herhaalde levering van pennen. Wil je goed kunnen beoordelen of en wanneer de naam van de klant op het document gewijzigd moet worden, dan moet je de herkomst achterhalen. Over welk bedrijfsproces hebben we het: een project, een verkoop of een bedrijfsverhuizing?
Het derde probleem is dat de situatie in de tijd kan wijzigen: nu heet de klant zus, toen heette hij zo. Je moet dus vasthouden aan wat de situatie op een moment in de tijd was, wil je kunnen verantwoorden waarom bepaalde keuzes gemaakt zijn.
Oplossing: proces referentiële metadata en tijdreizen
De relationele theorie helpt ons met de oplossing. Leg eventueel op een document (nog steeds) een kopie van gegevens vast, maar leg vooral een langdurige relatie met het onderliggende bedrijfsproces en het bedrijfsobject vast. Bijvoorbeeld met een verkoopproces en een verkoopkans. Of een gebiedsontwikkeling en een project. Je kunt dan de historische en huidige situatie blijvend automatisch afleiden. Binnen Invantive noemen wij dat ‘proces referentiële metadata’.
Een offerte bij een verkoopkans koppel je dus met ‘proces referentiële metadata’ aan de verkoopkans. Het document (offerte) erft dan automatisch in zijn metadata de naam van de klant en de omvang van de verkoopkans. Zoeken op alle offertes van momenteel meer dan tienduizend euro levert altijd het juiste resultaat, inclusief de eerstgenoemde offerte. Ook als de verkoopkans pas achteraf naar een groter bedrag getild is. Zoeken op alle offertes die ooit minder dan tienduizend euro waren levert ook het juiste resultaat: inclusief de eerstgenoemde offerte.
Data Vault
Uit het voorbeeld blijkt dat het noodzakelijk is om in de tijd te kunnen reizen. Want gaat het over een huidige omvang van meer dan tienduizend euro of ooit een omvang van meer dan tienduizend euro? De relatie tussen het document, het bedrijfsproces en bedrijfsobject moet blijvend zijn. Het Data Vault principe van Dan Linstedt maakt dit mogelijk. Kort door de bocht zorgt Data Vault er voor dat ieder bedrijfsobject (en dus ook bedrijfsproces) een uniek kenmerk krijgt dat niet wijzigt gedurende de levensduur. De auto met kenteken 1-PNP-23 kan dan wel een ander kenteken krijgen, maar het unieke kenmerk wijzigt niet. Dit unieke kenmerk wordt in een zogenaamde ‘hub’ vastgelegd. Alle historische gegevens komen volgens de theorie in zogenaamde ‘satellieten’. Soms wordt ook gebruik gemaakt van een ‘vette hub’, waarin de satellieten en hub gecombineerd worden.
Als je in een document op de metadata het unieke kenmerk uit een hub vastlegt, dan is eindelijk dat langdurige rendement uit documenten te halen: zoeken en vinden van relevante documenten van twintig jaar geleden. Ook al is de wereld om je heen veranderd.
Praktijkervaringen met Invantive Estate
Invantive Estate is een combinatie van real-time datawarehouse specifiek gericht op procesmatig en veelal projectmatig werkende organisaties. Het datawarehouse is gebaseerd op Data Vault.
Invantive Estate is echter hybride: behalve een datawarehouse is het ook een systeem waarbij gebruikers de gegevens kunnen muteren. Niet alle wijzigingen komen dus uit een systeem waar gegevens mee uitgewisseld worden, maar gegevens worden via web schermen en bijvoorbeeld Microsoft Outlook direct vastgelegd in het datawarehouse.
Binnen Invantive Estate wordt het concept van ‘proces referentiële metadata’ sinds vijf jaar toegepast. In de praktijk is gebleken dat het automatisch afleiden van documentgegevens erg intuïtief werkt. Gebruikers merken niet eens dat meerdere metadata eigenschappen worden afgeleid. Ze ervaren wel het gemak dat ze snel documenten kunnen terugvinden, of die nu uit het verre verleden stammen of recent toegevoegd zijn. Alleen als gebruikers ervaring hebben met andere Document Management Systemen, dan verwonderen ze zich hoe ze daarmee ooit prettig werkten.
Op basis van de theorie en de praktijkervaringen lijkt de combinatie van ‘proces referentiële metadata’ en tijdreizen, de belofte van een DMS om langdurig gegevens terug te vinden, eindelijk waar te maken!