I en tidigare analys undersöktes användningen av robots.txt för att blockera åtkomst till myndighetsinformation. Senare uppstod frågan vilka webbadresser som är tillgängliga via så kallade ”sitemaps” per webbplats.
En grov analys har gjorts med hjälp av Invantive UniversalSQL.
Viktigaste resultat
Onödigt snigeltempo i sökbarhet: PDF-dokument
Denna grova analys av 10 128 sitemaps på 3 238 myndighetswebbplatser visar att många offentliga dokument inte är sökbara via sitemaps.
Policydokument som PDF-filer offentliggörs i princip aldrig via en sitemap, vilket lätt kan göra att det tar 50 gånger längre tid innan de hittas – om de överhuvudtaget hittas av sökmotorer eller AI-crawlare.
Den blinda fläcken i Woo: obligatoriskt offentligt, men svårt att hitta
En del av Woo är aktiv offentliggörelse, precis som andra lagar föreskriver, exempelvis genom Wep. Offentliggörandet och den maskinläsbara formen kommer visserligen att ske, men den (smidiga) sökbarheten via sökmotorer verkar inte vara uppnådd (vilket inte heller är lagstadgat). open-overheid.nl har visserligen en sådan, men sitemapen innehåller inte en enda URL. De Woo-offentliggjorda dokumenten ska visserligen vara sökbara och genomsökbara via BZK:s digitala infrastruktur, men det verkar bara gälla inom den plattformen.
Större är inte alltid bättre
Stora skillnader mellan kommuner visar att små kommuner ibland presterar bättre än stora städer som Amsterdam; en ökad skalstorlek behöver alltså inte per automatik leda till bättre informationsförsörjning. Förbättrad sökbarhet via kompletta sitemaps bidrar till en tillgänglig digital förvaltning.
Rekommendationer
Den övergripande bilden är att mycket information inte enkelt och automatiskt kan hittas av medborgarna, och att aktualiteten – om informationen alls hittas – därmed är hotad.
För en god sökbarhet – oavsett kvalitet – vore det klokt att även offentliggöra offentlig information via sitemaps, inklusive PDF-dokument och kungörelser. En tillsynsmyndighet kan utifrån hur kompletta sitemaps är ge myndigheter råd om förbättringsmöjligheter.
Vad är en sitemap?
En sitemap är en strukturerad förteckning över (i princip) alla webbadresser på en webbplats, inklusive senaste ändringstidpunkt. Via en sitemap kan så kallade ”crawlers” från sökmotorer som Google Search och Bing snabbt ta reda på vilka sidor som finns och lägga till dem i sitt ”sökindex” (den så kallade ”indexeringen”).
Dessutom upptäcks ändringar mycket snabbare eftersom endast nyligen ändrade sidor behöver granskas. Det är inte ovanligt att tillägg av ändrade och/eller nya sidor sker 50 gånger snabbare om en sitemap används.
Hur anges en sitemap?
På dessa forum kan sitemapen enkelt hämtas genom att besöka följande URL:
https://forums.invantive.com/sitemap_recent.xml
som visar en URL som senast ändrades den 20 juni:
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:image="http://www.google.com/schemas/sitemap-image/1.1" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd http://www.google.com/schemas/sitemap-image/1.1 http://www.google.com/schemas/sitemap-image/1.1/sitemap-image.xsd">
<url>
<loc>https://forums.invantive.com/t/analyse-urls-in-sitemaps-van-overheidswebsites/5653</loc>
<lastmod>2025-06-20T13:10:33Z</lastmod>
</url>
...
</urlset>
En webbplats (som dessa forum) kan ha flera sitemaps. Dessa kan samlas i en huvudsitemap, till exempel:
https://forums.invantive.com/sitemap.xml
Strukturen för denna är annorlunda:
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>https://forums.invantive.com/sitemap_recent.xml</loc>
<lastmod>2025-06-20T11:40:31Z</lastmod>
</sitemap>
<sitemap>
<loc>https://forums.invantive.com/sitemap_1.xml</loc>
<lastmod>2025-06-20T11:40:31Z</lastmod>
</sitemap>
...
</sitemapindex>
Alla webbadresser i var och en av sitemaps bildar tillsammans den fullständiga listan.
En sitemap kan ha olika namn, även om den ofta heter sitemap.xml. Namnet kan anges via den fasta platsen robots.txt på en webbplats, till exempel:
Sitemap: https://forums.invantive.com/sitemap.xml
Dessutom är det hos sökmotorerna ofta möjligt att manuellt ange egna webbadresser för sitemap(s).
Som exempel erbjuder detta forum totalt cirka 6 000 webbadresser. Andra webbplatser, som documentation.invantive.com, erbjuder hundratusentals för den aktuella webbplatsen.
Ny publikation: sökbara och tillförlitliga kommunwebbplatser
iBestuur publicerade den 12 juni resultaten från en nyligen genomförd (2025) studie om kommunala chattbottar. En av slutsatserna var:
Det verkar alltså som att chattbottar ska reparera saker som bättre – och billigare – kan lösas på ett annat sätt. Det handlar om sådant som en myndighetswebbplats under alla omständigheter måste ha i ordning: tillgängligt, tillförlitligt, sökbart, användbart och relevant innehåll om ämnen som hör till kommunal politik, ’produkter och tjänster’ och alla andra ämnen som berör allmänhetens vardag. Chattbottar blir på så sätt ett plåster över saknade grundfunktioner kring sökbarhet av information.
Hela detaljerna är publicerade på Digimonitor:
Det verkar alltså ofta inte vara möjligt att (a) hitta information om policy som (b) dessutom är korrekt.
Denna analys fokuserar på att fastställa sökbarheten genom användning av sitemaps, eftersom sökmotorerna i första hand är beroende av dessa för en smidig och korrekt funktion.
Förväntningar
Baserat på 3,8 miljoner genomsökta webbadresser (varav 2 miljoner med ett dokument) på OpenArchivaris och nästan 6 miljoner officiella kungörelser är förväntningen att antalet dokument lätt bör ligga över 10 miljoner.
De 2 miljoner dokumenten på OpenArchivaris kommer från internettable-crawlern i Invantive UniversalSQL, som verkligen följer alla länkar. De nästan 6 miljoner officiella kungörelserna kommer från API:et för KOOP Officiële Bekendmakingen, bestående av kungörelser och delvis kompletterande dokument (se även Beheers gratis gegevens op Officiële Publicaties (KOOP, NL) och till exempel Externe documenten opzoeken bij Officele Bekendmakingen).
Undersökningsunderlag
En lista har sammanställts med 4 084 möjliga sitemaps efter avdubblering, hämtade från:
- 781 sitemaps från robots.txt-filer från tidigare undersökning
- 3 387 webbplatser där en sitemap eventuellt kan hittas på den vanligt förekommande platsen
sitemap.xml.
De 781 sitemaps från robots.txt-filerna var samtliga definierade. Av de 3 387 möjliga sitemaps är det känt att de delvis hänvisar till webbplatser som inte längre finns och/eller webbplatser utan sitemap.
Listan över webbplatser är densamma som den som används för OpenArchivaris. Det kan finnas fler myndighetswebbplatser, till exempel nybildade (sammanslagna) kommuner, men ett tillägg av dessa skulle även öka referensantalet för OpenArchivaris. Nybildade myndigheter har visserligen offentliggjort publikationer på https://officielebekendmakingen.nl, men med tanke på karaktären hos officiella kungörelser på denna webbplats och den beslutsstruktur som krävs för detta är förväntningen att detta endast kommer att ge en marginell skillnad.
Insamling av sitemaps
Listan över sitemaps från robots.txt har sammanställts via Invantive UniversalSQL med följande fråga:
--
-- Sitemaps från tidigare analys av robots.txt
--
-- Se https://forums.invantive.com/t/5389
--
create or replace view RobotSitemaps
as
select regexp_replace(contents_char, '.*(Sitemap: ([a-z0-9/.:-]*)).*', '$2', 1, 1, 'in') sitemap_url
from t5389_websiterobotstxt
where contents_char like '%Sitemap:%'
varefter listan med 4 081 olika sitemaps skapades med:
create or replace view BaseSitemaps
as
select sitemap_url url
from RobotSitemaps@datadictionary
where sitemap_url is not null
and is_uri(sitemap_url)
union
select url || '/sitemap.xml' url
from oa_sites@oa
Uppackning av sitemaps
Innehållet i BaseSitemaps innehåller både sitemaps med en lista över webbadresser och sitemaps med en lista över ytterligare sitemaps.
De sitemaps som i sin tur finns i en annan sitemap samlas in med följande fråga:
create or replace table ContainedSitemaps@InMemoryStorage
as
select smp.url sitemap_base
, xte.loc url
from BaseSitemaps@DataDictionary smp
join HTTPDOWNLOAD@DataDictionary
( url => smp.url
, diskCache => true
, diskCacheMaxAgeSec => 30 * 86400
, ignoreWebError => true
, ignoreInvalidCertificate => true
) htp
--
-- Välj endast sitemaps som innehåller andra sitemaps.
--
on htp.CONTENTS_CHAR like '%<sitemap%'
and htp.RETRIEVAL_SUCCESSFUL
--
-- Tolka sitemaps med andra sitemaps.
--
join xmltable
( '/*["sitemapindex"=local-name()]/*["sitemap"=local-name()]'
passing trim(htp.contents_char) /* Onderzoeksraad.nl har tab i början. */
columns loc varchar2 path './*["loc"=local-name()]'
) xte
Slutresultatet blev 6 561 extra unika sitemaps från 516 webbplatser.
Webbadresser direkt i sitemaps
Därefter genomsöks alla 10 128 (avdubblerade) sitemaps efter webbadresser från 3 238 olika webbplatser med:
create or replace table Urls@InMemoryStorage
as
select xte.loc
from ( select smp.Url
from BaseSitemaps@DataDictionary smp
where smp.Url
not in
( select distinct sitemap_base
from ContainedSitemaps@InMemoryStorage csp
)
union
select csp.Url
from ContainedSitemaps@InMemoryStorage csp
) smp
join HttpDownload@DataDictionary
( url => smp.url
, diskCache => true
, diskCacheMaxAgeSec => 30 * 86400
, ignoreWebError => true
, ignoreInvalidCertificate => true
) htp
--
-- Ignorera HTML-sidor och andra icke-standardiserade sitemaps.
--
on htp.contents_char like '%<urlset%'
and htp.retrieval_successful
--
-- Ignorera sitemaps med andra sitemaps.
--
join xmltable
( '/*["urlset"=local-name()]/*["url"=local-name()]'
passing htp.contents_char
columns loc varchar2 path './*["loc"=local-name()]'
) xte
Bearbetningstiden var cirka 2 timmar. Slutresultatet blev 5 244 820 webbadresser. Dock kom 3 745 512 av dessa från arcgis.com. Denna webbplats är ingen myndighetswebbplats, men hamnade på listan eftersom det (en gång) fanns filer där. Efter borttagning av denna felaktigt medtagna webbplats återstår 1 499 308 webbadresser på 1 356 webbplatser.
Export som JSON
För vidare bearbetning av den ursprungliga frågeställaren har en JSON-fil skapats med:
select *
from URLS@InMemoryStorage
for json auto
local export results as "c:\temp\urls.json" format txt exclude headers
Storleken på denna JSON-fil var 553 MB.
Analys
Antalet hittade webbadresser är betydligt lägre än det förväntade antalet. De återstående ungefär 1,5 miljoner sidorna kan hittas väl av sökmotorernas crawlare. Andra sidor, som många PDF-dokument, kan vara svårare att spåra upp.
Under en tidigare undersökning har det visat sig att vissa webbplatser inte länkar dokument sinsemellan på ett standardiserat sätt, vilket gör att sökmotorerna inte alls, eller inte fullständigt, hittar dessa dokument trots stora ansträngningar. Webbplatser med applikationslogik och dokument, såsom kommunfullmäktiges informationssystem och exempelvis offentliga kungörelser, saknar oftast en sitemap och är dåligt länkade.
Det kan inte uteslutas att vissa av dessa webbplatser informerar sökmotorerna på andra sätt, men om så är fallet är detta sätt att offentliggöra begränsat till en liten kommersiell grupp av sökmotorer. Manuell länkning av exempelvis kungörelser från andra webbplatser leder dock till upptagning i till exempel Googles sökindex.
Största webbplatser
Följande webbplatser har via sin/sina sitemap(s) offentliggjort flest webbadresser:
| Webbplats | Antal |
|---|---|
| monumenten.nl | 146 598 |
| tresoar.nl | 118 591 |
| puc.overheid.nl | 59 910 |
| mycoa.nl | 57 839 |
| klimaatmonitor.databank.nl | 48 244 |
| aanmelder.nl | 47 160 |
| cbs.nl | 45 418 |
| wetten.overheid.nl | 45 395 |
| verdragenbank.overheid.nl | 34 690 |
| higherlevel.nl | 32 879 |
| bhic.nl | 27 729 |
| ontwerpnovi.nl | 23 572 |
| rivm.nl | 20 928 |
Största kommuner
Kommunerna med de största volymerna via sitemap listas nedan tillsammans med antalet från OpenArchivaris senaste genomsökning avseende antal hittade PDF-dokument:
| Webbplats | Antal webbadresser i sitemap | Antal dokument OpenArchivaris |
|---|---|---|
| olst-wijhe.nl | 9 408 | 1 502 |
| archief.olst-wijhe.nl | 8 214 | - |
| amsterdam.nl | 4 464 | 52 864 |
| meerssen.nl | 4 110 | 1 818 |
| rotterdam.nl | 3 962 | 8 604 |
| boekel.nl | 2 838 | 2 490 |
| gorinchem.nl | 2 481 | 2 023 |
| aaenmaas.nl | 2 294 | - |
| hoorn.nl | 2 274 | 5 883 |
| gemeentemaastricht.nl | 2 256 | 1 502 |
I en ideal värld skulle alla PDF-dokument också finnas med i sitemaps, utöver vanliga webbsidor. Det är anmärkningsvärt att det till exempel i Amsterdam finns ett mångdubbelt antal dokument som inte är sökbara via sitemapen, medan till exempel Olst-Wijhe erbjuder relativt mycket fler webbadresser. Orsaken till detta har inte undersökts vidare på djupet.
Bilden är att det rör sig om relativt små kommuner med många webbsidor i förhållande till antalet dokument i OpenArchivaris, och kommuner med relativt begränsad kunskap om sökbarheten av kunskapen.
Det verkar finnas stora skillnader i kunskap, utformning och/eller prioritering.
Mest använda filändelser
Filändelser ger en uppfattning om typen av fil. Sitemaps innehåller följande filändelser:
| Filändelse | Antal |
|---|---|
| aspx | 7 731 |
| html | 2 851 |
| 696 | |
| htm | 665 |
| docx | 13 |
| xml | 9 |
| xlsx | 6 |
Aspx, html och htm är normalt filändelser för vanliga webbsidor. Totalt kan endast cirka 700 dokument hittas via sitemaps. Detta är en extremt låg andel, vilket gör att dokument som PDF antingen inte är sökbara alls eller först blir sökbara efter lång tid, när sökmotorerna har genomsökt en webbplats fullständigt. Detta kan lätt ta 50 gånger längre tid jämfört med korrekt användning av en sitemap.
Staten satsar på att dela mer och bättre information, exempelvis via Woo och Wep. Inga krav har ställts på hur detta ska göras. Det nuvarande arbetssättet gör det nödvändigt för medborgare att, för sin undersökning, följa därtill avsedda vägar som ofta inte fungerar väl och inte ger någon heltäckande bild. Ett extremt exempel var att Woo-indexsidan endast hade en enda, dessutom tom, sitemap.
Varför gör Invantive detta?
Invantive hjälper tiotusentals företag med teknik och kunskap att uppnå bättre resultat. Men dessa företag verkar inom statens ramar. En väl fungerande offentlig förvaltning innebär mer välfärd, även ekonomiskt. Därför satsar Invantive sin expertis på att bidra till en transparent och digitalt tillgänglig förvaltning. Med storskaliga dataanalyser av miljontals dokument kartlägger vi strukturella problem i informationshanteringen – inte som ett mål i sig, utan som ett bidrag till ett starkare demokratiskt system.
Som utvecklare av UniversalSQL stöder Invantive även samhälleliga initiativ, journalister och medborgare som vill använda offentlig information eller har svårt att hitta den. Exempel på detta är Open Archivaris från Stichting Common Sense in Actie, som är knuten till Invantive, samt den årliga Nationale Politieke Index.