Bruk av kunstig intelligens (KI) sprer seg til stadig flere områder i samfunnet – i alt fra helsevesen til ansettelser og forsikringer. Store mengder informasjon organiseres raskt når beslutninger skal tas.

Her er det viktig å være på vakt. KI kan blåse liv i gamle fordommer og ulikheter, og føre til helt nye typer forskjellsbehandling. Det kan skje raskt og systematisk, uten at det oppdages.

– KI kan i verste fall føre til et tilbakeslag for kvinnekampen, sier jusprofessor Vibeke Blaker Strand ved Universitetet i Oslo. 

Også andre og helt nye grupper kan rammes.

KI har aldri skylda

Forskjellsbehandling som ikke har noen god begrunnelse, kan være diskriminering.

Men dagens likestillings- og diskrimineringslov er ikke tilstrekkelig tilpasset forskjellsbehandlingen som kan oppstå ved bruk av KI, hevder professoren.

I fjor sto hun bak utredningen «Algoritmer, kunstig intelligens og diskriminering», skrevet på oppdrag for Likestillings- og diskrimineringsombudet. I disse dager gis utredningen ut på engelsk i bearbeidet form.

– Det er viktig at jurister tar plass i diskusjonen rundt KI, både for å bidra til å muliggjøre bruk av ny teknologi og for å sette grenser for den, sier Strand.

Hun foreslår at regelverket må endres på flere punkter. 

Et forslag er å innføre en såkalt aktivitets- og rapporteringsplikt for myndigheter og arbeidsgivere som bruker KI i beslutninger. Dette vil sikre at problem tilknyttet diskriminering ikke blir oversett når algoritmiske systemer tas i bruk.

En ting er likevel klart: Man kan ikke skylde på KI når noe går galt. Ansvaret for ikke å diskriminere ligger hos virksomheten som tar i bruk KI.

– Det er viktig å få håndhevet et vern mot diskriminering i møte med algoritmiske systemer. For eksempel ved at enkeltpersoner eller organisasjoner kan gå til sak om det viser seg at et system diskriminerer, sier Strand.

Foretrakk maskuline søkere

Maskiner har verken følelser eller fordommer. Men dataene som brukes til å trene KI-systemer, er som regel påvirket av mennesker:

– KI kan dra med seg gammelt «slagg» som fører til urettferdig forskjellsbehandling. Denne kan få en litt annen klesdrakt enn tidligere, og skjer med større teknisk kompleksitet. Men for den enkelte som rammes, er resultatet det samme, sier professoren.

Som eksempel viser hun til Amazon, som for noen år tilbake droppet sitt KI-baserte verktøy for rekruttering. Den viste seg nemlig å diskriminere kvinnelige jobbsøkere. Systemet var trent på historiske data for ansettelser, som var dominert av menn. Slik ble gamle kjønnsstereotypier utilsiktet bygget inn i algoritmene.

– Systemet favoriserte søknader skrevet i en «maskulin stil», der søkeren framhevet egne lederegenskaper og solgte seg inn på en bestemt måte. Kvinnelige søkere nådde ikke opp, fordi de solgte seg inn annerledes, beskriver Strand.

Kan påvirke helsetjenester

Dagens regelverk om likestillings- og diskrimineringsvern er særlig utviklet med tanke på likestilling i arbeidslivet. Det passer dårlig med utviklingen i samfunnet, påpeker professoren:

KI kan brukes til å anbefale hvem som skal få tilgang til viktige goder og tjenester på tvers av hele samfunnet. Det kan være alt fra helsetjenester til leie av boliger. Andre eksempler Strand trekker fram, er hvem som skal kontrolleres av politi eller tollvesen og risikokartlegging gjort av banker og forsikringsselskaper.

Fordi systemene håndterer store mengder data, kan diskrimineringen skje mer systematisk og i enda større skala enn tidligere.

– En oppdatert lov må ta høyde for at den nye teknologien tas i bruk på tvers av hele samfunnet, sier professoren.

Flere steder blir utfordringen allerede tatt tak i. Et samarbeidsprosjekt mellom Akershus universitetssykehus og Datatilsynet så nærmere på et KI-system laget for å avdekke risiko for hjertesvikt. Her fant de en potensiell risiko for skjevheter knyttet til etnisitet. 

Årsaken var at tidligere pasienters etnisitet ikke var del av datagrunnlaget.

– Jurister, IT-utviklere og andre faggrupper må samarbeide for å sikre at KI-systemer testes og kontrolleres for diskriminerende virkninger, slår Strand fast.

Utdatert lov?

Likestillings- og diskrimineringsloven forbyr både direkte og indirekte diskriminering på grunn av en rekke forhold. Blant disse er kjønn og kjønnsidentitet, etnisitet, religion og funksjonsnedsettelse.

I møte med KI kan det likevel være vanskelig å avdekke både om og hvordan diskriminering har skjedd.

– Noen systemer er så komplekst satt sammen at mennesker ikke fullt ut kan forstå hvorfor de handler slik de gjør. Man vet ikke alltid helt hva som er lagt vekt på i anbefalingene, sier Strand.

Dagens liste over vernede grupper kan dessuten være utdatert, ifølge professoren. Blant forslagene hennes er å lovfeste et vern mot algoritmisk diskriminering via såkalte «stedfortrederfaktorer»:

Uten at det er relevant, kan KI legge vekt på faktorer som bostedsadresse, økonomi eller utdanningsnivå. Slik kan noen grupper, for eksempel visse etniske minoriteter, komme skjevt ut når beslutninger tas. Dette uten at systemet har forholdt seg til etnisitet.

Må ikke vannes ut

Nye og noen ganger overraskende grupper, som hundeeiere, kan også komme skjevt ut.

– Man bør vurdere å etablere et vern mot algoritmisk diskriminering for nye grupper. For eksempel kan dagens regelverk suppleres med en åpen sekkekategori kalt «andre vesentlige forhold» ved en person, foreslår professoren.

Samtidig er det viktig at en slik utvidelse ikke vanner ut vernet av kvinner og andre allerede vernede grupper, påpeker hun:

– Det ligger lang historikk bak dagens lovverk, framhever Strand.

Referanser: 

Vibeke Blaker Strand: «Algoritmer, kunstig intelligens og diskriminering: En analyse av likestillings- og diskrimineringslovens muligheter og begrensninger» Utredning skrevet på oppdrag fra Likestillings- og diskrimineringsombudet, 2024.

Hjerterom for etisk AI: Sluttrapport fra sandkasseprosjektet til Ahus (EKG AI). Datatilsynet, 2023. 

Artikkelen er produsert og finansiert av Universitetet i Oslo

Universitetet i Oslo er én av over 80 eiere av forskning.no. Deres kommunikasjonsansatte leverer innhold til forskning.no. Vi merker dette innholdet for å tydelig skille formidling fra uavhengig redaksjonelt stoff.
Her kan du lese mer om ordningen.

Les også disse sakene fra Universitetet i Oslo:

• 

  Smeltende isbreer gir oss mindre ferskvann

• 

  Har akademia et skjult klasseproblem?

• 

  Tenker du at Antarktis er et uberørt paradis? Tro om igjen

• 

  – Frie medier og sterke institusjoner fjernes én etter én

• 

  Hvorfor er det så vanskelig å følge tannlegens anbefalinger?

• 

  Slik skal forskere bedre forstå fenomenet tørr munn

Les flere saker laget av Universitetet i Oslo her.