Jurainfo logo
LUK
Juridiske nyheder Arrangementer Find juridisk specialist Jobbørs Domme
Om Jurainfo Juridiske links Privatlivspolitik Kontakt
Bliv forfatter Bliv kursusudbyder Bliv verificeret specialist Bliv jobannoncør
Artikel

AI-forordningen og højrisikosystemerne

Bird & Bird
09/07/2021
AI-forordningen og højrisikosystemerne
Bird & Bird logo
Bird & Bird sætter fokus på EU-Kommissionens udkast til regulering af AI med en artikelserie, der berører forskellige emner. De tidligere artikler omhandlede AI-systemer der er forbudte samt forordningens forhold til GDPR. Denne artikel vil behandle de systemer, der anses for at udgøre en høj risiko mod EU-borgernes rettigheder og sikkerhed og derfor er underlagt en skærpet regulering. I praksis vil de vanskelige sondringer og det store arbejde – både på AI-bruger og AI-leverandørsiden – vedrøre disse systemer.

EU-Kommissionen opererer i forslaget med en risikobaseret tilgang, der medfører mere indgribende og detaljeret regulering, jo større risiko der er for at krænke borgeres rettigheder og sikkerhed. Risikogrupperne er opdelt i (i) uacceptabel risiko (forbudte systemer), (ii) høj risiko (systemer der er lovlige, men underlagt streng regulering), (iii) begrænset risiko (AI underlagt specifikke gennemsigtighedsforpligtelser), og (iv) minimal eller ingen risiko (ikke underlagt krav).


Højrisikosystemer

AI-systemer, der kan have en negativ påvirkning på menneskers sikkerhed eller fundamentale rettigheder, bliver efter forordningen anset for at være et højrisikosystem, såfremt betingelserne i forordningens artikel 6(1) er opfyldt, eller systemet er oplistet i bilag III til forordningen.


1. Systemer, der på forhånd vurderes at udgøre en høj risiko (Bilag III-systemer)


Et bilag til forslaget oplister systemer inden for otte områder, hvor brugen vil udgøre en høj risiko:


  1. Biometrisk identifikation og kategorisering af fysiske personer (f.eks. ansigtsgenkendelse).
  2. Drift af kritisk infrastruktur (f.eks. AI-systemer, der er beregnet til anvendelse som sikkerhedskomponenter i forvaltningen og driften af vejtrafik og forsyning af vand, gas, varme og elektricitet).
  3. Uddannelse og erhvervsuddannelse, der kan være afgørende for menneskers adgang til uddannelse og karrieremuligheder (f.eks. bedømmelse af eksamener, eller hvordan personer skal fordeles på uddannelsesinstitutioner).
  4. Beskæftigelse, forvaltning af arbejdstagere og adgang til selvstændig virksomhed (f.eks. AI-systemer der anvendes til screening og filtrering af ansøgninger og evaluering af ansøgere og generel overvågning og evaluering af medarbejderes indsats og præstationer).
  5. Adgang til og benyttelse af væsentlige private og offentlige tjenester og fordele (f.eks. AI-systemer der anvendes af offentlige myndigheder til at vurdere borgeres berettigelse til offentlige sociale ydelser samt AI-systemer, der anvendes til at foretage kreditvurderinger af borgeres kreditværdighed).
  6. Retshåndhævelse, (f.eks. AI-systemer der anvendes af retshåndhævende myndigheder til at foretage individuelle risikovurderinger af fysiske personer for at vurdere risikoen for, at en person begår lovovertrædelser, eller AI-systemer der anvendes til at vurdere pålideligheden af bevismateriale i forbindelse med efterforskning og retsforfølgning).
  7. Migrationsstyring, asylforvaltning og grænsekontrol (f.eks. AI-systemer, der anvendes af offentlige myndigheder til at vurdere sikkerhedsrisici eller indvandringsrisici samt software der kan tjekke ægtheden af rejsedokumenter såsom pas).
  8. Retspleje og demokratiske processer (f.eks. AI-systemer, der vurderer hvordan loven anvendes på konkrete fakta).

Listen kan ændres over tid, hvis der opstår behov for at tilføje yderligere områder, der skal anses for at udgøre en høj risiko.


2. Betingelserne i artikel 6(1)


I henhold til artikel 6(1) vil AI-systemer, der (a) er beregnet til at blive anvendt som en sikkerhedskomponent i et produkt, eller i sig selv udgør et produkt omfattet af anden EU-lovgivning (f.eks. produktsikkerhedslove), blive anset som et højrisikosystem, såfremt (b) produktet (hvis sikkerhedskomponent er AI-systemet, eller AI-systemet selv som et produkt) skal underkastes en overensstemmelsesvurdering i henhold til eksisterende EU-harmoniseringslovgivning anført i bilag II.


Strenge krav til højrisikosystemer

Når et AI-system kvalificeres som et højrisikosystem, er brugen heraf underlagt en række krav i forordningens artikel 9-15.


Først og fremmest skal der udvikles et risikostyringssystem, hvor kendte og forudsigelse risici ved systemet kortlægges og analyseres, både i forhold til de risici der kan opstå i forbindelse med korrekt brug af systemet og ved fejlanvendelse.


For systemer der anvender teknikker, der omfatter træning af modeller med data (maskinlæring), er der strenge krav til de datasæt der benyttes for at forhindre en mulig forudindtagethed og for generelt at sikre en høj standard af de data, der anvendes. Formålet med disse krav er dels at undgå ulovlig forskelsbehandling, dels at sikre det bedst mulige udfald.


Herudover stilles der specifikke krav til den tekniske dokumentation, som skal påvise, at systemet overholder kravene fastsat i forordningens artikel 9-15. Dokumentationen er essentiel for de relevante kontrolorganer, når de skal vurdere, hvorvidt systemet overholder reglerne.


AI-systemer skal endvidere udformes og udvikles på en sådan måde, at hændelser automatisk registreres (logfiler), når systemet er i drift, således at udbyderen kan overvåge driften og sikre, at der ikke er opstået situationer, der kan udgøre en risiko.


Systemet skal derudover udformes og udvikles sådan, at brugerne har mulighed for at kunne fortolke og anvende systemets output og anvende det korrekt. Dette sikres bl.a. ved udarbejdelse af brugsanvisninger, der giver brugerne kortfattede, fuldstændige og korrekte oplysninger om systemet.


Endeligt skal det være muligt at kunne føre effektivt menneskeligt tilsyn med systemet samt sikre, at systemet har et passende niveau af nøjagtighed, robusthed og cybersikkerhed.


Forpligtelser for udbydere

Udbydere af AI-systemer er forpligtet til at sikre:


  • at systemet lever op til ovenstående krav,
  • at der indføres et kvalitetsstyringssystem, der sikrer overensstemmelse med forordningen,
  • at der udarbejdes overensstemmelsesvurderinger i henhold til eksisterende EU-lovgivning,
  • at AI-systemet modtager en CE-mærkning og registreres i en EU-database, og
  • at systemet løbende overvåges og at det sikres, at systemet enten fjernes fra markedet eller ændres, hvis der er grund til at tro, at det ikke længere overholder forordningens krav.

Overensstemmelsesvurdering

Alle højrisikosystemer skal undergå en overensstemmelsesvurdering inden det kan markedsføres på det europæiske marked. Dette omfatter, at risikostyringssystemet og dets tekniske dokumentation skal vurderes for at sikre, at systemet lever op til forordningens standarder. Vurderingen kan foretages af udbyderen selv eller af det relevante kontrolorgan. AI-systemer inden for biometrisk identifikation skal dog til enhver tid godkendes af det relevante kontrolorgan.


Hvis et højrisikosystem efter en overensstemmelsesvurdering gennemgår en væsentlig ændring, der kan have indflydelse på systemets overholdelse af forordningen eller når systemets tilsigtede formål ændres, skal der foretages en ny overensstemmelsesvurdering.


Gennemsigtighedsforpligtelser for visse AI-systemer

For at undgå manipulation af brugere, er visse AI-systemer underlagt gennemsigtighedsforpligtelser. Dette er tilfældet, hvis et AI-system anvendes til enten (i) at interagere med mennesker, (ii) at opdage følelser eller fastslå tilknytning til (sociale) kategorier baseret på biometriske data eller (iii) at generere eller manipulere indhold, også kendt som ”deep fakes”. Deep fakes er særligt egnet til at manipulere modtageren, da det kan være svært at se med det blotte øje, om der er tale om en ægte video eller om den er blevet manipuleret. Af eksempler kan nævnes Dronning Elisabeths juletale og en pressemeddelelse fra Mark Zuckerberg.


Højrisikosystemer kan også være underlagt disse krav, såfremt de interagerer med fysiske personer.


Gennemsigtighedsforpligtelsen indebærer, at brugere skal gøres opmærksomme på, at de nu interagerer med f.eks. en ”chatbot” eller at systemet indsamler oplysninger om brugerens følelser eller biometrisk data såsom f.eks. race, eller at der anvendes deep fakes.


Minimal eller ingen risiko

Der er en meget stor del af markedet for AI-systemer, der ikke medfører en særligt stor risiko for at krænke borgernes rettigheder eller sikkerhed, f.eks. videospil og spamfiltre. Disse systemer vil ikke være underlagt det strengere regelsæt og vil i relation til compliance-dokumentation være relativt upåvirkede.

Artiklen er forfattet af:
Har du spørgsmål til dette indlæg, er du mere end velkommen til at kontakte mig.
Gå ikke glip af vigtig juridisk viden - Tilmeld dig vores nyhedsservice her.
Bird & Bird logo
København
Sundkrogsgade 21
2100 København Ø
72 24 12 12
72 24 12 13
denmark@twobirds.com
Nyhedsservice
Gå ikke glip af vigtig juridisk viden
Vælg selv dine interesseområder og modtag juridisk nyt fra landets førende specialister.
Tilmeld dig nu
Jobbørs
Skarp jurist med interesse for GDPR, it og dataanvendelse
Juridisk chefkonsulent med personaleledelse og faglig tyngde
FOA søger DPO
Genopslag: Fagkoordinator til Ydelsesteamet i Center for Job og Unge
Annoncér dit stillingsopslag her
Faglige videoer, der kunne være relevante for dig
Hvornår må du udsende nyhedsbreve og tilbud til dine kunder?
Det kræver et markedsføringssamtykke fra dine kunder, hvis du ønsker at udsende nyhedsmail, sms'er eller på anden måde kontakte dem med gode tilbud. Advokat, Torsten Hylleberg, kommer her nærmere ind på hvad du skal være opmærksom på i forbindelse med indhentelse af markedsføringssamtykker.
Artikler, der kunne være relevante for dig
Erhvervsstyrelsen varsler tilsyn på cookieområdet
Erhvervsstyrelsen varsler tilsyn på cookieområdet
19/10/2021
Persondata
Nyt dansk resumé af Databeskyttelsesrådets (EDPB) årsberetning
Nyt dansk resumé af Databeskyttelsesrådets (EDPB) årsberetning
13/10/2021
Persondata
Regeringens lovprogram 2021/2022 i databeskyttelsesretligt perspektiv
Regeringens lovprogram 2021/2022 i databeskyttelsesretligt perspektiv
12/10/2021
Persondata
GDPR: Hvornår har I etableret tilstrækkelige sikkerhedsforanstaltninger?
GDPR: Hvornår har I etableret tilstrækkelige sikkerhedsforanstaltninger?
11/10/2021
Persondata
Ferie ingen undskyldning for forsinket underretning om sikkerhedsbrud
Ferie ingen undskyldning for forsinket underretning om sikkerhedsbrud
08/10/2021
Persondata
Datatilsynet: Forsikringsselskab nægter uberettiget en kunde indsigt i overvågningsmateriale
Datatilsynet: Forsikringsselskab nægter uberettiget en kunde indsigt i overvågningsmateriale
07/10/2021
Persondata
Jurainfo logo

Jurainfo.dk er landets største juridiske online-platform samt formidler af juridisk viden. Her finder du juridiske nyheder, kurser og arrangementer. Vi hjælper dagligt danske virksomheder med at tilegne sig juridisk viden samt at sætte virksomheder i forbindelse med den rigtige juridiske rådgiver, når de har brug for råd og vejledning.

Jurainfo.dk ApS
CVR-nr. 38375563
Vandtårnsvej 77, DK-2860 Søborg
(+45) 71 99 01 11
kontakt@jurainfo.dk
Ønsker du hjælp til at finde en specialist?
© 2021 Jurainfo.dk - Juridiske nyheder og arrangementer samlet ét sted