AI-forordningen og højrisikosystemerne

EU-Kommissionen opererer i forslaget med en risikobaseret tilgang, der medfører mere indgribende og detaljeret regulering, jo større risiko der er for at krænke borgeres rettigheder og sikkerhed. Risikogrupperne er opdelt i (i) uacceptabel risiko (forbudte systemer), (ii) høj risiko (systemer der er lovlige, men underlagt streng regulering), (iii) begrænset risiko (AI underlagt specifikke gennemsigtighedsforpligtelser), og (iv) minimal eller ingen risiko (ikke underlagt krav).

Højrisikosystemer

AI-systemer, der kan have en negativ påvirkning på menneskers sikkerhed eller fundamentale rettigheder, bliver efter forordningen anset for at være et højrisikosystem, såfremt betingelserne i forordningens artikel 6(1) er opfyldt, eller systemet er oplistet i bilag III til forordningen.

1. Systemer, der på forhånd vurderes at udgøre en høj risiko (Bilag III-systemer)

Et bilag til forslaget oplister systemer inden for otte områder, hvor brugen vil udgøre en høj risiko:

1. Biometrisk identifikation og kategorisering af fysiske personer (f.eks. ansigtsgenkendelse).
2. Drift af kritisk infrastruktur (f.eks. AI-systemer, der er beregnet til anvendelse som sikkerhedskomponenter i forvaltningen og driften af vejtrafik og forsyning af vand, gas, varme og elektricitet).
3. Uddannelse og erhvervsuddannelse, der kan være afgørende for menneskers adgang til uddannelse og karrieremuligheder (f.eks. bedømmelse af eksamener, eller hvordan personer skal fordeles på uddannelsesinstitutioner).
4. Beskæftigelse, forvaltning af arbejdstagere og adgang til selvstændig virksomhed (f.eks. AI-systemer der anvendes til screening og filtrering af ansøgninger og evaluering af ansøgere og generel overvågning og evaluering af medarbejderes indsats og præstationer).
5. Adgang til og benyttelse af væsentlige private og offentlige tjenester og fordele (f.eks. AI-systemer der anvendes af offentlige myndigheder til at vurdere borgeres berettigelse til offentlige sociale ydelser samt AI-systemer, der anvendes til at foretage kreditvurderinger af borgeres kreditværdighed).
6. Retshåndhævelse, (f.eks. AI-systemer der anvendes af retshåndhævende myndigheder til at foretage individuelle risikovurderinger af fysiske personer for at vurdere risikoen for, at en person begår lovovertrædelser, eller AI-systemer der anvendes til at vurdere pålideligheden af bevismateriale i forbindelse med efterforskning og retsforfølgning).
7. Migrationsstyring, asylforvaltning og grænsekontrol (f.eks. AI-systemer, der anvendes af offentlige myndigheder til at vurdere sikkerhedsrisici eller indvandringsrisici samt software der kan tjekke ægtheden af rejsedokumenter såsom pas).
8. Retspleje og demokratiske processer (f.eks. AI-systemer, der vurderer hvordan loven anvendes på konkrete fakta).

Listen kan ændres over tid, hvis der opstår behov for at tilføje yderligere områder, der skal anses for at udgøre en høj risiko.

2. Betingelserne i artikel 6(1)

I henhold til artikel 6(1) vil AI-systemer, der (a) er beregnet til at blive anvendt som en sikkerhedskomponent i et produkt, eller i sig selv udgør et produkt omfattet af anden EU-lovgivning (f.eks. produktsikkerhedslove), blive anset som et højrisikosystem, såfremt (b) produktet (hvis sikkerhedskomponent er AI-systemet, eller AI-systemet selv som et produkt) skal underkastes en overensstemmelsesvurdering i henhold til eksisterende EU-harmoniseringslovgivning anført i bilag II.

Strenge krav til højrisikosystemer

Når et AI-system kvalificeres som et højrisikosystem, er brugen heraf underlagt en række krav i forordningens artikel 9-15.

Først og fremmest skal der udvikles et risikostyringssystem, hvor kendte og forudsigelse risici ved systemet kortlægges og analyseres, både i forhold til de risici der kan opstå i forbindelse med korrekt brug af systemet og ved fejlanvendelse.

For systemer der anvender teknikker, der omfatter træning af modeller med data (maskinlæring), er der strenge krav til de datasæt der benyttes for at forhindre en mulig forudindtagethed og for generelt at sikre en høj standard af de data, der anvendes. Formålet med disse krav er dels at undgå ulovlig forskelsbehandling, dels at sikre det bedst mulige udfald.

Herudover stilles der specifikke krav til den tekniske dokumentation, som skal påvise, at systemet overholder kravene fastsat i forordningens artikel 9-15. Dokumentationen er essentiel for de relevante kontrolorganer, når de skal vurdere, hvorvidt systemet overholder reglerne.

AI-systemer skal endvidere udformes og udvikles på en sådan måde, at hændelser automatisk registreres (logfiler), når systemet er i drift, således at udbyderen kan overvåge driften og sikre, at der ikke er opstået situationer, der kan udgøre en risiko.

Systemet skal derudover udformes og udvikles sådan, at brugerne har mulighed for at kunne fortolke og anvende systemets output og anvende det korrekt. Dette sikres bl.a. ved udarbejdelse af brugsanvisninger, der giver brugerne kortfattede, fuldstændige og korrekte oplysninger om systemet.

Endeligt skal det være muligt at kunne føre effektivt menneskeligt tilsyn med systemet samt sikre, at systemet har et passende niveau af nøjagtighed, robusthed og cybersikkerhed.

Forpligtelser for udbydere

Udbydere af AI-systemer er forpligtet til at sikre:

• at systemet lever op til ovenstående krav,
• at der indføres et kvalitetsstyringssystem, der sikrer overensstemmelse med forordningen,
• at der udarbejdes overensstemmelsesvurderinger i henhold til eksisterende EU-lovgivning,
• at AI-systemet modtager en CE-mærkning og registreres i en EU-database, og
• at systemet løbende overvåges og at det sikres, at systemet enten fjernes fra markedet eller ændres, hvis der er grund til at tro, at det ikke længere overholder forordningens krav.

Overensstemmelsesvurdering

Alle højrisikosystemer skal undergå en overensstemmelsesvurdering inden det kan markedsføres på det europæiske marked. Dette omfatter, at risikostyringssystemet og dets tekniske dokumentation skal vurderes for at sikre, at systemet lever op til forordningens standarder. Vurderingen kan foretages af udbyderen selv eller af det relevante kontrolorgan. AI-systemer inden for biometrisk identifikation skal dog til enhver tid godkendes af det relevante kontrolorgan.

Hvis et højrisikosystem efter en overensstemmelsesvurdering gennemgår en væsentlig ændring, der kan have indflydelse på systemets overholdelse af forordningen eller når systemets tilsigtede formål ændres, skal der foretages en ny overensstemmelsesvurdering.

Gennemsigtighedsforpligtelser for visse AI-systemer

For at undgå manipulation af brugere, er visse AI-systemer underlagt gennemsigtighedsforpligtelser. Dette er tilfældet, hvis et AI-system anvendes til enten (i) at interagere med mennesker, (ii) at opdage følelser eller fastslå tilknytning til (sociale) kategorier baseret på biometriske data eller (iii) at generere eller manipulere indhold, også kendt som ”deep fakes”. Deep fakes er særligt egnet til at manipulere modtageren, da det kan være svært at se med det blotte øje, om der er tale om en ægte video eller om den er blevet manipuleret. Af eksempler kan nævnes Dronning Elisabeths juletale og en pressemeddelelse fra Mark Zuckerberg.

Højrisikosystemer kan også være underlagt disse krav, såfremt de interagerer med fysiske personer.

Gennemsigtighedsforpligtelsen indebærer, at brugere skal gøres opmærksomme på, at de nu interagerer med f.eks. en ”chatbot” eller at systemet indsamler oplysninger om brugerens følelser eller biometrisk data såsom f.eks. race, eller at der anvendes deep fakes.

Minimal eller ingen risiko

Der er en meget stor del af markedet for AI-systemer, der ikke medfører en særligt stor risiko for at krænke borgernes rettigheder eller sikkerhed, f.eks. videospil og spamfiltre. Disse systemer vil ikke være underlagt det strengere regelsæt og vil i relation til compliance-dokumentation være relativt upåvirkede.