Hvad betyder den ”risikobaserede tilgang” i AI-forordningen i virkelighedens verden?

Denne artikel er den seneste i artikelserien om AI-forordningen.

Udgivne artikler: 

• AI-forordningen er endelig på plads – hvad nu?
• AI-forordningen og compliance – hvem skal gøre hvad, og hvornår?

Den risikobaserede tilgang blev fremhævet gang på gang fra politisk hold, da AI-forordningen blev vedtaget som garant for rimelighed i reguleringen, for at AI-forordningen ikke ville bremse Europas AI-udvikling, og for, at opstartsvirksomheder ikke ville drukne i dokumentations- og compliancekrav.

Risikobaseret tilgang er EU-speak for proportionalitet, og det indlysende logiske er, at et ”farligt” produkt med potentielt store konsekvenser, skal undergives strengere krav end et ufarligt eller mindre farligt produkt.

Den risikobaserede tilgang er indlejret direkte i AI-forordningens struktur med kategoriseringen af systemer fra decideret uacceptable og ulovlige til systemer med lav risiko og derfor få forpligtigelser. Derudover kommer den risikobaserede tilgang til udtryk i de enkelte bestemmelser, hvor lovgiver overlader et skøn til pligtsubjekterne, der selv skal foretage en proportionalitetsvurdering (som kan efterprøves).  

Princippet om risikobaseret tilgang introducerer AI-forordningen blandt andet i betragtning 26 og 27, men det er ikke en ny øvelse at tænke risikobaseret i sin tilgang til compliance. Tilgangen kendes bl.a. fra GDPR om risikovurderinger i forhold til behandlingssikkerhed samt sikkerhedsstandarder som ISO 27001. Som et nyere eksempel, der påvirker hele den finansielle sektor, kan nævnes DORA (Digital Operational Resilience Act), der tilsvarende også forpligter f.eks. en bank til at anvende en risikobaseret tilgang.

Denne artikel gennemgår, hvordan den risikobaserede tilgang skal forstås, og hvilken virkning princippet får for pligtsubjekter, der skal overholde forordningens compliancekrav.

Hvad udgør en risiko i AI-forordningens forstand?

Før man anvender en risikobaseret tilgang, er det vigtigt at forstå, hvad en risiko er – ellers kan man ikke vurdere, hvad man skal mitigere og hvordan. En risiko defineres i AI-forordningens som: “the combination of the probability of an occurrence of harm and the severity of that harm”, d.v.s. den sædvanlige formel: Sandsynlighed gange konsekvens.

Definitionen giver dog ikke i sig selv en klarere definition på, hvornår der foreligger en sådan risiko ved udviklingen og brugen af AI-systemer. Forordningen beskriver heller ikke nærmere, hvad der skal foreligge en risiko for, men sammenholder man med hensynene bag AI-systemer f.eks. for forbudte praksisser og højrisikosystemer, må det antages, at det drejer sig om risiko for bl.a. skade på fysiske personers sundhed, sikkerhed eller grundlæggende rettigheder, herunder som følge af bias i resultaterne af brugen af AI.

Hvordan fungerer en risikobaseret tilgang under AI-forordningen?

Den risikobaserede tilgang er sjældent nævnt eksplicit i AI-forordningen, men kommer til udtryk i compliancekravene, særligt for højrisikosystemer. En mere indgribende risiko kræver en højere grad af årvågenhed og strammere iagttagelse af forpligtelserne. Det kan eksemplificeres med forpligtelsen til menneskeligt tilsyn i artikel 14. Kravene og forventningerne til det menneskelige tilsyn vil variere baseret på et systems konkrete risici, også selvom forskellige systemer nominelt tilhører samme kategori. Artikel 14 angiver ”High-risk AI systems shall be designed and developed in such a way, including with appropriate human-machine interface tools, that they can be effectively overseen by natural persons during the period in which they are in use.” Det er her værd at hæfte sig ved ordet “effectively”, da det heri ligger, at effektivt menneskeligt tilsyn med et AI system, der bliver brugt patientrettet på en hjertekirurgisk afdeling, ret sikkert kræver mere end AI i et lokalt vandværk, der bruges til ressourceoptimering, selv om vandværket efter lovgivningen i øvrigt er kritisk infrastruktur.

Det betyder således, at der er et varierende niveau af compliancekrav, som afhænger af konkrete forhold, der skal vurderes fra system til system. Man kan for eksempel spørge, om der altid vil være større krav til højrisikosystemer, der bruges til kritisk infrastruktur, end højrisikosystemer, der bruges til medarbejderrekruttering, da der som udgangspunkt kan være flere og større risici forbundet med brugen af højrisikosystemer til kritisk infrastruktur end ”bare” en rekruttering. En sådan generel regel kan ikke antages. I stedet vil vurderingen afhænge af konkrete faktorer, såsom typen af kritisk infrastruktur, ligesom vurderingen af kravene til HR AI-systemer vil afhænge af, hvilken sektor et rekrutteringssystem anvendes i og af, om systemet er beslutningsunderstøttende eller blot et system til grovsortering. 

Man må forvente yderligere klarhed, men – med erfaringerne fra GDPR in mente – næppe en indskrænkende tolkning af kravene i takt med, at EU-kommissionen og de nationale myndigheder fastlægger de nødvendige vejledninger og retningslinjer, hvor forordningen åbner mulighed for et skøn.

Hvilke muligheder og faldgruber åbner en risikobaseret tilgang op for?

En risikobaseret tilgang kræver på den ene side et skræddersyet skøn til den enkelte udviklers eller brugers vurdering af risici ved det pågældende AI-system, og åbner dermed for flere korrekte måder at sikre, overvåge og drive sit AI-system på. På den anden side stiller skønnet skarpt på, om pligtsubjektet risikovurderer korrekt, da en ikke-tilstrækkelig risikovurdering i værste fald kan ende med at udløse store bøder. 

I den konkrete vurdering kan det være et problem at følge en risikobaserede tilgang, når man ikke ved, hvilke risici man konkret skal vægte højest og dermed prioritere mitigeringen af. At forordningen sætter nogle overordnede rammer for, hvad der skal tages hensyn til, giver ikke et tilstrækkeligt facit for, hvilke risici, man skal iagttage – og hvordan.

Et andet problematisk område vedrører AI-forordningens mange undtagelser til sine hovedklassifikationer, f. eks. hvor et højrisikosystem alligevel ikke skal dokumenteres og løbende risikovurderes som et højrisikosystem. Udgangspunktet må være, at et sådant system går et trin ned i risikokategoriseringen, så systemet reguleres som et lavrisikosystem. I disse situationer vil en risikobaseret tilgang give myndighederne en vis elastik til at udvikle og genbesøge AI-forordningens krav, imens den samme elastik for virksomheder og organisationer vil give en uheldig usikkerhed og risiko for tilbagerulning af systemer.

En sidste central udfordring ved den risikobaserede tilgang er den tidsmæssige udstrækning i, at der ikke foreligger et facit for, hvordan man er compliant i forhold til sit AI-system. Retningslinjer og praksis vil udvikle sig, men det er en proces, der tager tid – både for pligtsubjekterne, der skal indrette sig efter forordningen, men også Digitaliseringsstyrelsen, der i Danmark skal håndhæve forordningen. 

Hvordan forbereder man sig på AI-forordningen og den risikobaserede tilgang?

Alt i alt vil den risikobaserede tilgang kræve en stejl læringskurve for virksomheder og organisationer, der anvender AI. Det vil være relevant allerede nu at orientere sig i det materiale, de vejledninger, best practices beskrivelser mv., som myndighederne i Danmark, EU og andre medlemslande gør tilgængeligt. 

Digitaliseringsstyrelsen, der er udpeget som tilsynsmyndighed for AI-forordningen, har f.eks. offentliggjort en vejledning, der er rettet mod borgeres brug af GPAI. Og Datatilsynet har tidligere offentliggjort en vejledning, der er møntet på myndigheders udvikling og drift af AI-systemer, der dog primært har et databeskyttelsesretligt fokus.

Vi hjælper allerede nu mange af vores klienter med at forberede sig på AI-forordningen, herunder ved risikovurdering af use cases, sikring af overholdelse af by design krav til AI-systemer, AI Governance samt opfyldelse af dokumentationskrav parallelt med, at udviklingen sker. 

Kontakt os, hvis du vil vide, hvordan AI-forordningen vil påvirke din virksomhed, og hvordan I kan forberede jer.