Ideen om å bruke maskiner til å forstå hva vi tenker, er ikke
ny.
De siste årene har forskere klart å få til enkel ja-nei-kommunikasjon
ved å implantere elektroder i hjernen til mennesker som ikke kan snakke eller
røre kroppen.
En studie fra 2022 presenterte til og med et system hvor pasienter kunne stave
beskjeder med én og én bokstav.
Men alt dette blekner i forhold til resultatene som publiseres
i Nature Neuroscience i dag.
En gruppe forskere har nemlig lagd en dekoder som kan lese
både ord og mening ut fra fMRI-målinger av hjerneaktivitet, uten bruk av
implantater i hjernen.
– Sjokkert
Selv forskerne bak verktøyet var overrasket over
resultatene.
– Vi var ganske sjokkert over at det virket så bra, sa forsker
Alexander G. Huth fra University of Texas i Austin på en pressekonferanse fredag.
Det samme er Karsten Specht, professor ved Institutt for
biologisk psykologi ved Universitetet i Bergen. Han har ikke vært med på denne
studien, men forsker selv på fMRI og målinger av hjerneaktivitet.
– Jeg har nok forventet at noe slikt ville komme, men det
overrasker meg likevel at de har fått det til allerede, sier han til
forskning.no.
Språkmønster i hjernen
Dekoderen er et dataverktøy som bygger på store
språkmodeller, på lignende måte som ChatGPT. Slike språkmodeller gjetter på hva
det neste ordet i en setning vil bli, basert på masse tidligere erfaring med
språk.
I dette tilfellet ble dekoderen trent opp til å koble ord
til hjerneaktivitet.
Når du hører språk, ser en film eller tenker på noe du vil
si, er ulike nettverk av nerveceller i hjernen aktive. Disse mønstrene av aktiviteten
kan måles, for eksempel med en fMRI-maskin.
Kobler ord til hjerneaktivitet
Oppgaven til dekoderen er rett og slett å finne ut hvilke
ord som er koblet til hvilke aktivitetsmønster.
Det er imidlertid en formidabel oppgave.
Ikke minst fordi fMRI bruker endringer i
blodgjennomstrømning til å måle aktivitet. Det er et tregt mål.
Endringene i blodgjennomstrømning skjer saktere enn det tar
å si et enkeltord. Dette gir et sammenfiltret språkbilde som dekoderen må
forsøke å nøste opp i.
Ifølge Huth og kollegaene er hemmeligheten nok trening.
Forstod innholdet i nye historier
Forskerne testet dekoderen på tre forsøkspersoner. Hver av
dem lå i en fMRI-maskin i hele 16 timer til sammen, mens de hørte på historier,
for det meste fra den amerikanske podcasten The Moth Radio Hour.
Dekoderen kunne så sammenligne hjerneaktiviteten med ordene
i historiene.
Deretter lot forskerne forsøkspersonene høre en ny historie,
mens fMRI-maskinen registrerte hjerneaktiviteten. Det store spørsmålet var så
klart:
Ville dekoderen forstå innholdet av den nye historien, bare ut
fra hjerneaktiviteten?
Det enkle svaret er: Ja, i ganske stor grad.
Verktøyet genererte forståelige setninger som ofte fanget opp
mye av meningen i fortellingene.
Til venstre ser du historien som ble fortalt, mens til høyre ser du historien som dekoderen plukket opp.
Meningen ble bevart
Noen ganger lagde dekoderen ordrette gjengivelser, men som
oftest ble innholdet beskrevet med andre ord enn den opprinnelige historien.
For eksempel kunne personen i fortellingen si: «Jeg har ikke
førerkortet mitt ennå», mens dekoderen rekonstruerte følgende setning fra
hjerneaktiviteten: «Hun har ikke engang begynt å lære å kjøre.»
I et annet forsøk fikk forsøkspersonene se en liten video
uten tekst eller tale. Også her var dekoderen i stand til å oppfatte mye av
innholdet i historien, ut fra hjerneaktiviteten.
Det samme gjaldt da forsøkspersonene fortalte en ny historie
i tankene sine.
Dypere enn språk
– Jeg tror vi dekoder noe dypere enn språk, sa Huth på
pressekonferansen.
Da forsøkspersonene så videoen, tenkte de trolig ikke
bevisst på innholdet med konkrete ord. Likevel klarte dekoderen altså å omsette
signalene i hjernen til en språklig beskrivelse.
Er det mer grunnleggende tanker og ideer den oppfatter?
Det kan i så fall forklare hvorfor dekoderen ofte gjenga meningen
med andre ord enn dem som ble brukt i fortellingene, tror forskerne bak studien.
Veldig dårlig på pronomen
Dekoderen er langt fra perfekt. Selv om den ofte fikk med
seg hva historiene handlet om i grove trekk, bommet den på mange detaljer. Og
slike detaljer kan være avgjørende for virkelig å skjønne meningen.
– Den er veldig dårlig på pronomen, fortalte Huth på pressekonferansen.
Dekoderen oppfattet altså ofte ikke hvem som gjorde ting med
hvem eller forskjellen på han og hun.
For eksempel sa fortelleren i en av historiene:
«I just
jumped out right when I needed to, and she said, well why don’t you come back
to my house and I’ll give you a ride. I said OK.»
Mens dette er hva dekoderen leste ut fra hjerneaktiviteten:
«I had to
push her out of the car. I said we will take her home and now she agreed.»
Har vist at det virker
– Vi vet ikke hvorfor den er dårlig på dette, innrømmet
Huth på pressekonferansen.
Slike feil vil selvfølgelig kunne skape mange misforståelser
dersom dekoderen skulle brukes til å kommunisere med i den formen den er i dag.
Huth og kollega Jerry Tang forklarte at det foreløpig ikke er
klart hva dekoderen kan brukes til, men at de har demonstrert at denne
teknologien fungerer.
– Fascinerende, men skummelt
Når slike teknikker utvikles videre, kan de tenkes å bli svært
nyttige, sier Specht ved Universitetet i Bergen.
– Vår gruppe skal for eksempel jobbe med slagpasienter med
språkproblemer. Det kunne være interessant å undersøke om slike systemer kan
brukes til å overkomme språkvanskene, sier han.
Specht mener det ligger fascinerende muligheter i metoden. Samtidig
kan denne teknologien være skummel.
– Det ligger en stor fare for misbruk her, sier han.
– Vi beveger oss i retning av tankelesing, noe som kan true
folks rett til mentalt privatliv.
Dette er også Huth og kollegaene svært opptatt av.
Kan trolig ikke misbrukes ennå
I sin nåværende form er det lite sannsynlig at verktøyet kan
brukes til å lese tankene til noen som ikke ønsker det, mener Huth og Tang.
Dekoderen er foreløpig avhengig av samarbeid med personen
som skal leses. Verktøyet trenger timevis med treningsdata for å lære seg å
forstå noens hjerneaktivitet.
I forsøket til Huth og kollegaene kunne ikke treningsdata
fra den ene forsøkspersonen brukes for å lese tankene til en annen person.
Forskerne fant dessuten ut at forsøkspersonene kunne sabotere
læringen ved å tenke på andre ting mens de hørte på historiene.
En annen sak er så klart at metoden er avhengig av en fMRI-maskin
– et monstrum av en maskin med en formidabel prislapp.
Men forskerne utelukker på ingen måte at situasjonen kan
endres når teknologien utvikler seg.
Fare med bedre verktøy og mindre maskiner
Det er grunn til å forvente store framskritt innen slik
teknologi, tror Specht ved Universitetet i Bergen.
Kanskje blir det mulig å lage dekodere som er flinkere til å
forstå personer de ikke har trent med.
Det kan for eksempel tenkes at verktøyet blir bedre til å
forstå ukjente personer dersom det trenes opp med enorme mengder data fra mange
ulike mennesker.
Det er også mulig at dekodere kan bruke data over
hjerneaktivitet fra langt lettere og billigere instrumenter enn fMRI-maskiner. For
eksempel functional near-infrared spectroscopy (fNIRS).
– Dette er et bærbart system som man bare kan sette på hodet
til noen, sier Specht.
Trenger reguleringer for framtida
Hvis det viser seg at dekoderen også kan virke med hjernemålinger
fra dette utstyret, øker det risikoen for at personer som ikke ønsker det, får
tankene sine lest.
Dette må vi begynne å tenke på i dag, før en slik ny
teknologi eventuelt kommer, mener Huth og kollegaene.
De maner til offentlig debatt om saken, slik at vi kan komme
fram til reguleringer som beskytter retten vår til mentalt privatliv i
framtida.
Referanse:
J. Tang, A.
LeBel, S. Jain & A. G. Huth, Semantic reconstruction of continuous language
from non-invasive brain recordings, Nature Neuroscince, mai 2023. Sammendrag.
