Analysér URL'er i sitemaps fra offentlige hjemmesider

I een tidligere analyse blev der set på brugen af robots.txt til at blokere adgangen til offentlig information. Senere kom spørgsmålet, hvilke URL’er der er tilgængelige via såkaldte “sitemaps” pr. website.

En grov analyse er lavet ved hjælp af Invantive UniversalSQL.

Vigtigste konklusioner

Unødvendigt sneglefart hvad angår findbarhed: PDF-dokumenter

Denne grove analyse af 10.128 sitemaps på 3.238 offentlige websites viser, at mange offentlige dokumenter ikke kan findes via sitemaps.

Politikdokumenter såsom PDF-dokumenter offentliggøres stort set aldrig via et sitemap, hvilket let kan betyde, at det tager en faktor 50 længere tid, før de kan findes — hvis de overhovedet findes af søgemaskiner eller AI-crawlere.

Woo’s blinde vinkel: lovpligtigt offentlig, men dårligt findbar

En del af Woo (den hollandske offentlighedslov) er aktiv offentliggørelse, ligesom andre love foreskriver dette, f.eks. Wep. Offentliggørelsen og den maskinlæsbare udformning vil nok ske, men den (hurtige) findbarhed via søgemaskiner lader ikke til at blive realiseret (hvilket heller ikke er lovpligtigt). open-overheid.nl har dette implementeret, men sitemappet indeholder ingen URL’er overhovedet. Via Woo-offentliggjorte dokumenter skal det dog være muligt at finde og søge gennem BZK’s digitale infrastruktur, men det gælder tilsyneladende kun inden for den pågældende platform.

Større er ikke nødvendigvis bedre

Store forskelle mellem kommuner viser, at små kommuner nogle gange klarer sig bedre end store byer som Amsterdam; stordrift fører altså ikke nødvendigvis til bedre informationsformidling. Forbedret findbarhed via komplette sitemaps hjælper med at skabe en mere tilgængelig digital offentlig sektor.

Anbefalinger

Det overordnede billede er, at meget information ikke let og automatisk kan findes af borgerne, og at aktualiteten dermed — hvis informationen overhovedet findes — er under pres.

For god findbarhed — uafhængigt af kvaliteten — ville det være klogt også at offentliggøre offentlig information via sitemaps, herunder PDF-dokumenter og bekendtgørelser. Et tilsynsorgan kan ud fra fuldstændigheden af sitemaps rådgive offentlige myndigheder om forbedringsmuligheder.

Hvad er et sitemap?

Et sitemap er en struktureret registrering af (i princippet) alle URL’er på et website, inklusive tidspunktet for seneste ændring. Via et sitemap kan såkaldte “crawlere” fra søgemaskiner som Google Search og BING hurtigt finde ud af, hvilke sider der findes, og tilføje dem til deres “søgeindeks” (den såkaldte “indeksering”).

Ændringer bliver også opfanget mange gange hurtigere, fordi kun de nyligt ændrede sider skal gennemgås. Det er ikke usædvanligt, at tilføjelsen af ændrede og/eller nye sider er en faktor 50 hurtigere, hvis der anvendes et sitemap.

Hvordan angives et sitemap?

På dette forum kan sitemappet nemt hentes ved at besøge følgende URL:

https://forums.invantive.com/sitemap_recent.xml

som bemærker en URL, der sidst blev ændret den 20. juni:

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:image="http://www.google.com/schemas/sitemap-image/1.1" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd http://www.google.com/schemas/sitemap-image/1.1 http://www.google.com/schemas/sitemap-image/1.1/sitemap-image.xsd">
  <url>
    <loc>https://forums.invantive.com/t/analyse-urls-in-sitemaps-van-overheidswebsites/5653</loc>
    <lastmod>2025-06-20T13:10:33Z</lastmod>
  </url>
  ...
</urlset>

Et website (som dette forum) kan have flere sitemaps. Disse kan samles i et hovedsitemap, f.eks.:

https://forums.invantive.com/sitemap.xml

Strukturen af dette er anderledes:

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap>
    <loc>https://forums.invantive.com/sitemap_recent.xml</loc>
    <lastmod>2025-06-20T11:40:31Z</lastmod>
  </sitemap>
  <sitemap>
    <loc>https://forums.invantive.com/sitemap_1.xml</loc>
    <lastmod>2025-06-20T11:40:31Z</lastmod>
  </sitemap>
  ...
</sitemapindex>

Alle URL’er i hvert af sitemaps udgør tilsammen den fulde liste.

Et sitemap kan have forskellige navne, selvom det ofte er sitemap.xml. Navnet kan angives via den faste placering robots.txt på et website, f.eks.:

Sitemap: https://forums.invantive.com/sitemap.xml

Derudover er det ofte muligt hos søgemaskinerne manuelt at angive sine egne URL’er for sitemap(s).

Som eksempel: dette forum-website tilbyder i alt cirka 6.000 URL’er. Andre websites, såsom documentation.invantive.com, tilbyder hundredtusindvis for det pågældende website.

Nylig udgivelse: findbare og pålidelige kommunale websites

iBestuur offentliggjorde den 12. juni resultaterne af en nylig (2025) undersøgelse af kommunale chatbots. En af konklusionerne var:

Det ser altså ud til, at chatbots skal reparere ting, der bedre — og billigere — kan løses på en anden måde. Det drejer sig om ting, som et offentligt website under alle omstændigheder skal have styr på: tilgængeligt, pålideligt, findbart, brugbart, relevant indhold om emner, der hører til kommunal politik, ‘produkter og tjenester’ samt alle andre emner, der berører borgernes hverdag. Chatbots fungerer på denne måde som et plaster på manglende grundlæggende funktioner omkring findbarhed af information.

De fulde detaljer er offentliggjort på Digimonitor:

Det ser tilsyneladende ofte ikke altid ud til at være muligt at finde (a) information om politik, som (b) er korrekt.

Denne analyse koncentrerer sig om at bestemme findbarheden ved brug af sitemaps, fordi søgemaskinerne primært er afhængige heraf for en smidig og korrekt funktion.

Forventninger

Baseret på 3,8 millioner scannede URL’er (hvoraf 2 millioner med et dokument) på OpenArchivaris og næsten 6 millioner officielle bekendtgørelser er forventningen, at antallet af dokumenter let burde ligge over 10 millioner.

De 2 millioner dokumenter på OpenArchivaris stammer fra internettable-crawleren i Invantive UniversalSQL, som reelt følger alle links. De næsten 6 millioner officielle bekendtgørelser kommer fra API’en til KOOP Officielle Bekendtgørelser, bestående af bekendtgørelser og til dels supplerende dokumenter (se også Beheers gratis gegevens op Officiële Publicaties (KOOP, NL) og f.eks. Externe documenten opzoeken bij Officele Bekendmakingen).

Undersøgelsesgrundlag

En liste er udarbejdet med 4.084 mulige sitemaps efter fjernelse af dubletter, stammende fra:

  • 781 sitemaps fra robots.txt-filer fra tidligere undersøgelse
  • 3.387 websites, hvor et sitemap muligvis kan findes på den almindelige placering sitemap.xml.

De 781 sitemaps fra robots.txt-filer var alle defineret. Af de 3.387 mulige sitemaps vides det, at de til dels henviser til ikke-længere-eksisterende websites og/eller websites uden sitemap.

Listen over websites er identisk med den, der blev brugt til OpenArchivaris. Der kan muligvis være flere offentlige websites, såsom nyligt dannede (fusionerede) kommuner, men tilføjelse heraf ville også øge referenceantallet for OpenArchivaris. Nyligt dannede myndigheder vil have offentliggjort publikationer på https://officielebekendmakingen.nl, men i betragtning af karakteren af officiel bekendtgørelse på dette site og den dertil krævede beslutningsstruktur er forventningen, at dette vil give en marginal forskel.

Indsamling af sitemaps

Listen over sitemaps fra robots.txt er udarbejdet via Invantive UniversalSQL med følgende forespørgsel:

--
-- Sitemaps from former analysis on robots.txt
--
-- See https://forums.invantive.com/t/5389
--
create or replace view RobotSitemaps
as
select regexp_replace(contents_char, '.*(Sitemap: ([a-z0-9/.:-]*)).*', '$2', 1, 1, 'in') sitemap_url
from   t5389_websiterobotstxt
where  contents_char like '%Sitemap:%'

hvorefter listen med 4.081 forskellige sitemaps blev oprettet med:

create or replace view BaseSitemaps
as
select sitemap_url url
from   RobotSitemaps@datadictionary
where  sitemap_url is not null
and    is_uri(sitemap_url)
union
select url || '/sitemap.xml' url
from   oa_sites@oa

Udpakning af sitemaps

Indholdet af BaseSitemaps indeholder både sitemaps med en liste over URL’er, og sitemaps med en liste over endnu flere sitemaps.

De sitemaps, der igen findes i et andet sitemap, indsamles med følgende forespørgsel:

create or replace table ContainedSitemaps@InMemoryStorage
as
select smp.url sitemap_base
,      xte.loc url
from   BaseSitemaps@DataDictionary smp
join   HTTPDOWNLOAD@DataDictionary
       ( url => smp.url
       , diskCache => true
       , diskCacheMaxAgeSec => 30 * 86400
       , ignoreWebError => true
       , ignoreInvalidCertificate => true
       ) htp
--
-- Select only sitemaps that contain other sitemaps.
--
on     htp.CONTENTS_CHAR like '%<sitemap%'
and    htp.RETRIEVAL_SUCCESSFUL
--
-- Parse sitemaps with other sitemaps.
--
join   xmltable 
       ( '/*["sitemapindex"=local-name()]/*["sitemap"=local-name()]'
         passing trim(htp.contents_char) /* Onderzoeksraad.nl has tab at start. */
         columns loc varchar2 path './*["loc"=local-name()]'
       ) xte

Slutresultatet var 6.561 ekstra unikke sitemaps fra 516 websites.

URL’er direkte i sitemaps

Derefter gennemsøges alle 10.128 (dubletfjernede) sitemaps for URL’er fra 3.238 forskellige websites med:

create or replace table Urls@InMemoryStorage
as
select xte.loc
from   ( select smp.Url
         from   BaseSitemaps@DataDictionary smp 
         where  smp.Url 
                not in 
                ( select distinct sitemap_base 
                  from   ContainedSitemaps@InMemoryStorage csp
                )
         union
         select csp.Url
         from   ContainedSitemaps@InMemoryStorage csp
       ) smp
join   HttpDownload@DataDictionary
       ( url => smp.url
       , diskCache => true
       , diskCacheMaxAgeSec => 30 * 86400
       , ignoreWebError => true
       , ignoreInvalidCertificate => true
       ) htp
--
-- Ignore HTML pages and other non-standard sitemaps.
--
on     htp.contents_char like '%<urlset%'
and    htp.retrieval_successful
--
-- Ignore sitemaps with other sitemaps.
--
join   xmltable 
       ( '/*["urlset"=local-name()]/*["url"=local-name()]'
         passing htp.contents_char
         columns loc varchar2 path './*["loc"=local-name()]'
       ) xte

Behandlingstiden var cirka 2 timer. Slutresultatet var 5.244.820 URL’er. Dog kom 3.745.512 fra arcgis.com. Dette site er ikke et offentligt website, men er endt på listen, fordi der (engang) lå filer der. Efter fjernelse af dette fejlagtigt medtagede site resterer 1.499.308 URL’er på 1356 websites.

Eksport som JSON

Til videre bearbejdning af den oprindelige spørgsmålsstiller er der oprettet en JSON-fil med:

select *
from   URLS@InMemoryStorage
for json auto

local export results as "c:\temp\urls.json" format txt exclude headers

Størrelsen af denne JSON-fil var 553 MB.

Analyse

Antallet af fundne URL’er er betydeligt lavere end det forventede antal. De resterende cirka 1,5 millioner sider kan godt findes af søgemaskine-crawlere. Andre sider, såsom mange PDF-dokumenter, kan være sværere at opspore.

Under en tidligere undersøgelse blev det klart, at nogle websites ikke linker dokumenter indbyrdes på en standardiseret måde, hvilket betyder, at søgemaskiner ikke, eller ikke fuldt ud, vil finde disse dokumenter på trods af stor indsats. Websites med applikationslogik og dokumenter, såsom rådsinformationssystemer og f.eks. offentlige bekendtgørelser, indeholder ofte intet sitemap og er dårligt forbundet.

Det kan ikke udelukkes, at nogle af disse websites informerer søgemaskiner på andre måder, men hvis det er tilfældet, er denne form for offentliggørelse begrænset til en lille kommerciel gruppe af søgemaskiner. Manuel linking af f.eks. bekendtgørelser fra andre sites fører dog til optagelse i f.eks. Googles søgeindeks.

Største websites

Følgende websites har via sitemap(s) offentliggjort det største antal URL’er:

Website Antal
monumenten.nl 146.598
tresoar.nl 118.591
puc.overheid.nl 59.910
mycoa.nl 57.839
klimaatmonitor.databank.nl 48.244
aanmelder.nl 47.160
cbs.nl 45.418
wetten.overheid.nl 45.395
verdragenbank.overheid.nl 34.690
higherlevel.nl 32.879
bhic.nl 27.729
ontwerpnovi.nl 23.572
rivm.nl 20.928

Største kommuner

De kommuner med de største mængder via sitemap er angivet nedenfor sammen med antallet fra den seneste crawl af OpenArchivaris for antal fundne PDF-dokumenter:

Website Antal URL’er Sitemap Antal Dokumenter OpenArchivaris
olst-wijhe.nl 9.408 1.502
archief.olst-wijhe.nl 8.214 -
amsterdam.nl 4.464 52.864
meerssen.nl 4.110 1.818
rotterdam.nl 3.962 8.604
boekel.nl 2.838 2.490
gorinchem.nl 2.481 2.023
aaenmaas.nl 2.294 -
hoorn.nl 2.274 5.883
gemeentemaastricht.nl 2.256 1.502

I den ideelle verden ville alle PDF-dokumenter også stå i sitemaps, foruden almindelige websider. Det er påfaldende, at der f.eks. i Amsterdam er et mangefold af dokumenter, som ikke kan findes via sitemappet, mens f.eks. Olst-Wijhe relativt set tilbyder langt flere URL’er. Årsagen hertil er ikke undersøgt nærmere.

Billedet er, at der er relativt små kommuner med mange websider i forhold til antallet af dokumenter i OpenArchivaris, og kommuner med en relativt begrænset del af deres viden gjort findbar.

Det ser ud til, at der er store forskelle i viden, organisering og/eller prioritering.

Mest anvendte filtyper

Filtyper giver et indtryk af arten af filen. Sitemaps indeholder følgende filtyper:

Filtype Antal
aspx 7.731
html 2.851
pdf 696
htm 665
docx 13
xml 9
xlsx 6

Aspx, html og htm er normalt filtyper for almindelige websider. I alt findes der kun cirka 700 dokumenter via sitemaps. Dette er en ekstremt lav andel, hvilket betyder, at dokumenter som PDF enten ikke kan findes, eller først kan findes efter lang tid, når søgemaskiner har gennemsøgt et website fuldstændigt. Dette kan let tage 50 gange så lang tid i forhold til korrekt brug af et sitemap.

Den offentlige sektor satser på mere og bedre deling af information, f.eks. via Woo og Wep. Der stilles ingen krav til, hvordan dette skal gøres. Den nuværende fremgangsmåde gør det nødvendigt for borgerne i deres søgen at følge dertil udpegede stier, som ofte ikke fungerer godt og ikke giver et samlet billede. Et ekstremt eksempel var, at Woo-indekssitet havde et eneste og oven i købet tomt sitemap.

Hvorfor gør Invantive dette?

Invantive hjælper titusindvis af virksomheder med teknologi og viden til at opnå bedre resultater. Men disse virksomheder opererer inden for statens rammer. En velfungerende offentlig sektor betyder mere velfærd, også økonomisk. Derfor bruger Invantive sin ekspertise til at bidrage til en gennemsigtig og digitalt tilgængelig offentlig sektor. Med storskala-dataanalyser af millioner af dokumenter kortlægger vi strukturelle flaskehalse i informationsforvaltningen — ikke som et mål i sig selv, men som et bidrag til et stærkere demokratisk system.

Som udvikler af UniversalSQL støtter Invantive også samfundsinitiativer, journalister og borgere, der ønsker at bruge offentlig information eller har svært ved at finde den. Eksempler er Open Archivaris fra Stichting Common Sense in Actie, der hører til Invantive, og det årlige Nationale Politieke Index.