Analyser URL-er i sitemaps fra offentlige nettsteder

I en tidligere analyse ble bruken av robots.txt for å blokkere tilgang til offentlig informasjon undersøkt. Senere kom spørsmålet om hvilke URL-er som er tilgjengelige via såkalte «sitemaps» per nettsted.

En grov analyse er gjennomført ved hjelp av Invantive UniversalSQL.

Viktigste funn

Unødvendig sneglefart når det gjelder gjenfinnbarhet: PDF-dokumenter

Denne grove analysen av 10 128 sitemaps på 3 238 offentlige nettsteder viser at mange offentlige dokumenter ikke er gjenfinnbare via sitemaps.

Policydokumenter som PDF-dokumenter blir nesten aldri kunngjort via en sitemap, noe som gjør at det lett kan ta en faktor 50 lengre tid før de blir funnet, hvis de i det hele tatt blir funnet av søkemotorer eller AI-crawlere.

Woo-lovens blindsone: obligatorisk offentlig, men dårlig gjenfinnbart

En del av Woo-loven er aktiv offentliggjøring, akkurat som andre lover legger til rette for, for eksempel Wep-loven. Offentliggjøringen og maskinlesbarheten vil nok skje, men den (smidige) gjenfinnbarheten gjennom søkemotorer ser ikke ut til å være realisert (noe som heller ikke er lovpålagt). open-overheid.nl er riktignok tilrettelagt for dette, men sitemapen inneholder ingen URL-er i det hele tatt. Via Woo-offentliggjorte dokumenter skal de riktignok være gjenfinnbare og søkbare gjennom BZKs digitale infrastruktur, men det ser ut til kun å gjelde innenfor den plattformen.

Større er ikke nødvendigvis bedre

Store forskjeller mellom kommuner viser at små kommuner noen ganger presterer bedre enn store byer som Amsterdam; skalaforstørrelse trenger altså ikke nødvendigvis føre til bedre informasjonsformidling. Forbedret gjenfinnbarhet via komplette sitemaps bidrar til en tilgjengelig digital forvaltning.

Anbefalinger

Det generelle bildet er at mye informasjon ikke kan finnes enkelt og automatisk av innbyggere, og at aktualiteten – hvis informasjonen i det hele tatt finnes – dermed står under press.

For god gjenfinnbarhet – uavhengig av kvalitet – ville det være klokt å også kunngjøre offentlig informasjon via sitemaps, inkludert PDF-dokumenter og kunngjøringer. Et tilsynsorgan kan basert på fullstendigheten av sitemaps gi forvaltningsorganer råd om forbedringsmuligheter.

Hva er en sitemap?

En sitemap er en strukturert registrering av (i prinsippet) alle URL-er på et nettsted, inkludert tidspunktet for siste endring. Via en sitemap kan såkalte «crawlere» fra søkemotorer som Google Search og BING raskt finne ut hvilke sider som finnes, og legge dem til i «søkeindeksen» sin (den såkalte «indekseringen»).

Også endringer blir plukket opp mange ganger raskere, fordi bare de nylig endrede sidene trenger å bli sjekket. Det er ikke uvanlig at tillegg av endrede og/eller nye sider skjer en faktor 50 raskere dersom en sitemap brukes.

Hvordan oppgis en sitemap?

På disse forumene kan sitemapen enkelt hentes ved å besøke følgende URL:

https://forums.invantive.com/sitemap_recent.xml

som viser en URL som sist ble endret 20. juni:

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:image="http://www.google.com/schemas/sitemap-image/1.1" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd http://www.google.com/schemas/sitemap-image/1.1 http://www.google.com/schemas/sitemap-image/1.1/sitemap-image.xsd">
  <url>
    <loc>https://forums.invantive.com/t/analyse-urls-in-sitemaps-van-overheidswebsites/5653</loc>
    <lastmod>2025-06-20T13:10:33Z</lastmod>
  </url>
  ...
</urlset>

Et nettsted (som disse forumene) kan ha flere sitemaps. Disse kan samles i en hovedsitemap, som:

https://forums.invantive.com/sitemap.xml

Strukturen på denne er annerledes:

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap>
    <loc>https://forums.invantive.com/sitemap_recent.xml</loc>
    <lastmod>2025-06-20T11:40:31Z</lastmod>
  </sitemap>
  <sitemap>
    <loc>https://forums.invantive.com/sitemap_1.xml</loc>
    <lastmod>2025-06-20T11:40:31Z</lastmod>
  </sitemap>
  ...
</sitemapindex>

Alle URL-er i hver av sitemapene utgjør til sammen den komplette listen.

En sitemap kan ha forskjellige navn, selv om den ofte heter sitemap.xml. Navnet kan oppgis via den faste plasseringen robots.txt på et nettsted, slik som:

Sitemap: https://forums.invantive.com/sitemap.xml

I tillegg er det ofte mulig hos søkemotorer å manuelt oppgi egne URL-er for sitemapen(e).

Som et eksempel: dette forumnettstedet tilbyr totalt rundt 6 000 URL-er. Andre nettsteder, som documentation.invantive.com, tilbyr flere hundre tusen for det aktuelle nettstedet.

Nylig publisering: gjenfinnbare og pålitelige kommunenettsteder

iBestuur publiserte 12. juni resultatene av en nylig (2025) undersøkelse om kommunale chatboter. En av konklusjonene var:

Det ser altså ut til at chatboter må reparere ting som bedre – og billigere – kan løses på en annen måte. Det dreier seg om ting et offentlig nettsted uansett må ha i orden: tilgjengelig, pålitelig, gjenfinnbart, brukbart, relevant innhold om emner som hører til kommunal politikk, «produkter og tjenester» og alle andre emner som berører publikums hverdag. Chatboter er på denne måten et plaster på manglende grunnleggende funksjoner rundt gjenfinnbarhet av informasjon.

De fullstendige detaljene er publisert på Digimonitor:

Det ser tydeligvis ofte ikke ut til å være mulig å (a) finne informasjon om retningslinjer, som (b) er korrekt.

Denne analysen konsentrerer seg om å fastslå gjenfinnbarheten ved bruk av sitemaps, fordi søkemotorene primært er avhengige av dette for at alt skal fungere smidig og korrekt.

Forventninger

Basert på 3,8 millioner skannede URL-er (hvorav 2 millioner med et dokument) på OpenArchivaris og nesten 6 millioner offisielle kunngjøringer, er forventningen at antallet dokumenter lett burde ligge over 10 millioner.

De 2 millioner dokumentene på OpenArchivaris kommer fra internettable-crawleren til Invantive UniversalSQL, som virkelig følger alle lenker. De nesten 6 millioner offisielle kunngjøringene kommer fra API-et til KOOP Officiele Bekendmakingen, bestående av kunngjøring og delvis supplerende dokumenter (se også Beheers gratis gegevens op Officiële Publicaties (KOOP, NL) og for eksempel Externe documenten opzoeken bij Officele Bekendmakingen).

Grunnlag for undersøkelsen

En liste er satt sammen med 4 084 mulige sitemaps etter dubletteliminering, hentet fra:

  • 781 sitemaps fra robots.txt-filer fra tidligere undersøkelse
  • 3 387 nettsteder hvor en sitemap muligens kan finnes på det vanlige stedet sitemap.xml.

De 781 sitemapene fra robots.txt-filer var alle definert. Av de 3 387 mulige sitemapene er det kjent at de delvis peker til nettsteder som ikke lenger eksisterer, og/eller nettsteder uten sitemap.

Listen over nettsteder er den samme som ble brukt for OpenArchivaris. Det kan være flere offentlige nettsteder, som nylig sammenslåtte (fusjonerte) kommuner, men tillegg av disse ville også øke referanseantallet for OpenArchivaris. Nyopprettede forvaltningsorganer vil nok ha offentliggjort publikasjoner på https://officielebekendmakingen.nl, men gitt karakteren av offisiell kunngjøring på dette nettstedet og den nødvendige beslutningsstrukturen, er forventningen at dette kun vil utgjøre en marginal forskjell.

Innsamling av sitemaps

Listen over sitemaps fra robots.txt ble satt sammen via Invantive UniversalSQL med følgende spørring:

--
-- Sitemaps from former analysis on robots.txt
--
-- See https://forums.invantive.com/t/5389
--
create or replace view RobotSitemaps
as
select regexp_replace(contents_char, '.*(Sitemap: ([a-z0-9/.:-]*)).*', '$2', 1, 1, 'in') sitemap_url
from   t5389_websiterobotstxt
where  contents_char like '%Sitemap:%'

hvoretter listen over 4 081 forskjellige sitemaps ble laget med:

create or replace view BaseSitemaps
as
select sitemap_url url
from   RobotSitemaps@datadictionary
where  sitemap_url is not null
and    is_uri(sitemap_url)
union
select url || '/sitemap.xml' url
from   oa_sites@oa

Pakke ut sitemaps

Innholdet i BaseSitemaps inneholder både sitemaps med en liste over URL-er, og sitemaps med en liste over flere sitemaps.

Sitemapene som igjen befinner seg i en annen sitemap, samles inn med følgende spørring:

create or replace table ContainedSitemaps@InMemoryStorage
as
select smp.url sitemap_base
,      xte.loc url
from   BaseSitemaps@DataDictionary smp
join   HTTPDOWNLOAD@DataDictionary
       ( url => smp.url
       , diskCache => true
       , diskCacheMaxAgeSec => 30 * 86400
       , ignoreWebError => true
       , ignoreInvalidCertificate => true
       ) htp
--
-- Select only sitemaps that contain other sitemaps.
--
on     htp.CONTENTS_CHAR like '%<sitemap%'
and    htp.RETRIEVAL_SUCCESSFUL
--
-- Parse sitemaps with other sitemaps.
--
join   xmltable 
       ( '/*["sitemapindex"=local-name()]/*["sitemap"=local-name()]'
         passing trim(htp.contents_char) /* Onderzoeksraad.nl has tab at start. */
         columns loc varchar2 path './*["loc"=local-name()]'
       ) xte

Sluttresultatet var 6 561 ekstra unike sitemaps fra 516 nettsteder.

URL-er direkte i sitemaps

Deretter blir alle de 10 128 (dubletteliminerte) sitemapene gjennomsøkt for URL-er fra 3 238 forskjellige nettsteder med:

create or replace table Urls@InMemoryStorage
as
select xte.loc
from   ( select smp.Url
         from   BaseSitemaps@DataDictionary smp 
         where  smp.Url 
                not in 
                ( select distinct sitemap_base 
                  from   ContainedSitemaps@InMemoryStorage csp
                )
         union
         select csp.Url
         from   ContainedSitemaps@InMemoryStorage csp
       ) smp
join   HttpDownload@DataDictionary
       ( url => smp.url
       , diskCache => true
       , diskCacheMaxAgeSec => 30 * 86400
       , ignoreWebError => true
       , ignoreInvalidCertificate => true
       ) htp
--
-- Ignore HTML pages and other non-standard sitemaps.
--
on     htp.contents_char like '%<urlset%'
and    htp.retrieval_successful
--
-- Ignore sitemaps with other sitemaps.
--
join   xmltable 
       ( '/*["urlset"=local-name()]/*["url"=local-name()]'
         passing htp.contents_char
         columns loc varchar2 path './*["loc"=local-name()]'
       ) xte

Behandlingstiden var omtrent 2 timer. Sluttresultatet var 5 244 820 URL-er. Imidlertid kom 3 745 512 av disse fra arcgis.com. Dette nettstedet er ikke et offentlig nettsted, men havnet på listen fordi det (en gang) lå filer der. Etter fjerning av dette uriktig inkluderte nettstedet gjenstår 1 499 308 URL-er på 1 356 nettsteder.

Eksport som JSON

For videre bearbeiding av den opprinnelige spørsmålsstilleren er det laget en JSON-fil med:

select *
from   URLS@InMemoryStorage
for json auto

local export results as "c:\temp\urls.json" format txt exclude headers

Størrelsen på denne JSON-filen var 553 MB.

Analyse

Antallet funnede URL-er er betydelig lavere enn forventet antall. De gjenværende omtrent 1,5 millioner sidene kan finnes godt av søkemotor-crawlere. Andre sider, som mange PDF-dokumenter, kan være vanskeligere å finne.

Under en tidligere undersøkelse viste det seg at enkelte nettsteder ikke lenker dokumenter innbyrdes på en standardisert måte, slik at søkemotorer ikke, eller ikke fullstendig, vil finne disse dokumentene til tross for store anstrengelser. Nettsteder med applikasjonslogikk og dokumenter, som rådsinformasjonssystemer og for eksempel offentlige kunngjøringer, inneholder ofte ingen sitemap og er dårlig koblet sammen.

Det kan ikke utelukkes at noen av disse nettstedene informerer søkemotorer på andre måter, men hvis så er tilfelle, er denne formen for kunngjøring begrenset til en liten kommersiell gruppe søkemotorer. Manuell lenking av for eksempel kunngjøringer fra andre nettsteder fører riktignok til opptak i for eksempel Google-søkeindeksen.

Største nettsteder

Følgende nettsteder har via sitemapen(e) kunngjort det største antallet URL-er:

Nettsted Antall
monumenten.nl 146 598
tresoar.nl 118 591
puc.overheid.nl 59 910
mycoa.nl 57 839
klimaatmonitor.databank.nl 48 244
aanmelder.nl 47 160
cbs.nl 45 418
wetten.overheid.nl 45 395
verdragenbank.overheid.nl 34 690
higherlevel.nl 32 879
bhic.nl 27 729
ontwerpnovi.nl 23 572
rivm.nl 20 928

Største kommuner

Kommunene med størst volum via sitemap er tatt med nedenfor, sammen med antallene fra den siste gjennomgangen av OpenArchivaris når det gjelder antall funnede PDF-dokumenter:

Nettsted Antall URL-er Sitemap Antall dokumenter OpenArchivaris
olst-wijhe.nl 9 408 1 502
archief.olst-wijhe.nl 8 214 -
amsterdam.nl 4 464 52 864
meerssen.nl 4 110 1 818
rotterdam.nl 3 962 8 604
boekel.nl 2 838 2 490
gorinchem.nl 2 481 2 023
aaenmaas.nl 2 294 -
hoorn.nl 2 274 5 883
gemeentemaastricht.nl 2 256 1 502

I en ideell verden ville alle PDF-dokumenter også stått i sitemapene, i tillegg til vanlige nettsider. Det er påfallende at det for eksempel i Amsterdam finnes mangfoldig flere dokumenter som ikke er gjenfinnbare via sitemapen, mens for eksempel Olst-Wijhe relativt sett tilbyr langt flere URL-er. Årsaken til dette er ikke undersøkt videre i dybden.

Bildet er at det er relativt små kommuner med mange nettsider i forhold til antallet dokumenter i OpenArchivaris, og kommuner med relativt begrenset kunnskap om gjenfinnbarhet av kunnskap.

Det ser ut til at det er store forskjeller i kunnskap, organisering og/eller prioritering.

Mest brukte filtyper

Filtyper gir et inntrykk av type fil. Sitemapene inneholder følgende filtyper:

Filtype Antall
aspx 7 731
html 2 851
pdf 696
htm 665
docx 13
xml 9
xlsx 6

Aspx, html og htm er normalt filtyper for vanlige nettsider. Totalt kan bare omtrent 700 dokumenter finnes via sitemaps. Dette er en ekstremt lav prosentandel, som gjør at dokumenter som PDF enten ikke er gjenfinnbare, eller først blir gjenfinnbare etter lang tid når søkemotorer har gjennomsøkt et nettsted fullstendig. Dette kan lett ta 50 ganger så lang tid sammenlignet med riktig bruk av en sitemap.

Myndighetene satser på mer og bedre deling av informasjon, for eksempel via Woo- og Wep-lovene. Det er ikke stilt krav til måten dette skal gjøres på. Dagens arbeidsmåte gjør det nødvendig for innbyggere å følge utpekte veier for sin undersøkelse, veier som ofte ikke fungerer godt og ikke gir et helhetlig bilde. Et ekstremt eksempel var at Woo-indekssiden har én eneste, og dessuten tom, sitemap.

Hvorfor gjør Invantive dette?

Invantive hjelper titusenvis av bedrifter med teknologi og kunnskap til å oppnå bedre resultater. Men disse bedriftene opererer innenfor rammene satt av staten. En godt fungerende forvaltning betyr mer velferd, også økonomisk. Derfor bruker Invantive sin ekspertise for å bidra til en transparent og digitalt tilgjengelig forvaltning. Med storskala dataanalyser av millioner av dokumenter synliggjør vi strukturelle flaskehalser i informasjonsforvaltningen – ikke som et mål i seg selv, men som et bidrag til et sterkere demokratisk system.

Som utvikler av UniversalSQL støtter Invantive også samfunnsinitiativer, journalister og innbyggere som ønsker å bruke offentlig informasjon eller har vanskelig for å finne den. Eksempler er Open Archivaris fra Stichting Common Sense in Actie, som er tilknyttet Invantive, og den årlige Nationale Politieke Index.