Det er kanskje ikke det du vanligvis tenker på som «streaming», men det er det forskerne kaller det.

For første gang har de ved hjelp av en hjernebrikke klart å «streame» tankene til en lam pasient og konvertere dem til naturlig tale.

– Vi har skapt en ny enhet som gjør det mulig for en person med fullstendig stemmelammelse å snakke flytende», forteller Gopala Anumanchipalli, medforfatter av studien, i en e-post.

Systemet har gjort det mulig for en pasient å snakke nesten i sanntid. Stemmen som brukes er hennes egen. Den er KI-generert, men basert på opptak av kvinnen fra før hun ble lammet.

Nesten uten forsinkelse

Tidligere forsøk har vært basert på at pasienten fortsatt har noe tale igjen, og det var en lang forsinkelse – om lag åtte sekunder – mellom pasientens forsøk på å snakke og datastemmen.

I det nye forsøket er forsinkelsen nede i mindre enn ett sekund etter pasientens intensjon om å si noe. Pasienten trengte altså ikke å vente på at en setning eller et ord skulle bli ferdig før datamaskinen snakket for henne. Det skjedde nesten synkront, akkurat som det gjør for oss alle.

– Den nye tilnærmingen ga henne en følelse av handlekraft, kroppsliggjøring og viljestyrt kontroll over stemmen hun hørte uten betydelig forsinkelse, skriver Anumanchipalli. 

Han er forsker i elektroteknikk og informatikk ved University of California.

Noe av det verste

At forsinkelsen er borte, er den store nyheten her, ifølge forsker Mads Jochumsen. Han jobber med styring av teknologi via hjernesignaler ved Institutt for medisin og helseteknologi ved Aalborg Universitet.

– Studien bygger på mange forsøk de siste årene på å gjenskape tale, bevegelse og til og med syn. Det nye her er at de har klart å gjøre samtalen mer flytende og dynamisk. Og at de har gjenskapt pasientens egen stemme, sier Jochumsen.

Han mener studien er viktig fordi den gir en mulighet til å hjelpe mennesker med omfattende funksjonsnedsettelser.

– Det må være noe av det verste som finnes å være fanget i en kropp som ikke kan kommunisere. Med denne teknologien kan lamme pasienter snakke med barna sine, venner og familie igjen, forklarer han.

Hjerneprotese – ikke tankelesning

Det er et forskerteam fra UC Berkeley og UC San Francisco som står bak gjennombruddet. Det dreier seg om en såkalt «nevroprotese», altså en hjerneprotese, litt på samme måte som for eksempel en beinprotese.

I dette tilfellet er protesen rett og slett implantert i hjernen, der den henter data fra den delen av hjernen som oversetter tanker til ord. En prosess som består av

1. først en tanke
2. deretter en beslutning om hva som skal sies
3. etterfulgt av en beslutning om hvilke ord som skal brukes
4. og til slutt bevegelsen av stemmemusklene.

Forskerne trente opp en algoritme ved å la pasienten lese setninger på en skjerm og prøve å si dem.

Det kunne hun selvsagt ikke på grunn av lammelsen, men den nevrale aktiviteten som ble generert i hjernen hennes mens hun prøvde å si noe, ble kartlagt. Og KI fylte deretter ut de manglende detaljene.

– Så man kan si at det er pasientens intensjon om å uttale bestemte ord som er blitt målt her. Det er ikke å lese tanker eller følelser. For det kan man ikke gjøre, forklarer Jochumsen.

En slags deep fake-stemme

Forskerne har ikke målt musklene som styrer bevegelsene i kjeve, svelg og tunge når vi snakker – disse musklene var nemlig helt lammet hos denne pasienten.

I stedet målte de hjernens signaler om å bevege talemuskulaturen før de når det punktet på «ledningen» der de stopper opp fordi pasientens skade har «kuttet» dem.

I tillegg brukte forskerne opptak av pasientens stemme fra tiden før skaden til å lage en datastemme som hørtes ut som hennes egen. Dette er også kjent fra deep fake-videoer eller musikk og film der stemmen til en avdød sanger eller skuespiller har blitt gjenskapt.

Hjelper også andre

Ifølge Mads Jochumsen vil den nye teknologien på sikt kunne hjelpe pasienter som har mistet evnen til å snakke på grunn av lammelser, men også i forbindelse med hjerneslag og sykdommer som ALS og parkinson.

Han mener også at den nye kunnskapen er enda en brikke i puslespillet for å gjenopprette bevegelse ved lammelser og syn ved blindhet.

Forskerne bak studien sier at de vil fortsette å jobbe med å bygge inn uttrykksfullhet i den KI-genererte stemmen for å gjenspeile endringer i pasientens tonefall og stemmevolum når pasienten for eksempel er oppspilt.

I mellomtiden er forskerne fornøyd med at strømmehastigheten på under sekundet ikke har vist seg å gå på bekostning av nøyaktigheten. Data viser at teknologien deres har samme høye nivå av dekodingsnøyaktighet som tidligere ikke-strømmet teknologi.

Bekymret for hackere

Det er imidlertid også bekymringer knyttet til teknologien. Mads Jochumsen peker på flere:

• Når hjernebrikken skal settes inn, er det risiko for infeksjon under operasjonen, på samme måte som man kan treffe et blodkar og forårsake hjerneblødning.
• Det er fare for innkapsling i form av arrdannelse rundt et implantat, slik vi kjenner det fra brystimplantater og pacemakere.
• Og til slutt er det den mer sci-fi-aktige bekymringen for at hackere kan bryte seg inn i systemet og kommunisere på vegne av og mot pasientens vilje.

– Så det er alltid en avveining. Hva er du villig til å risikere for å vinne tilbake – i dette tilfellet – taleevnen? Kanskje er det bedre enn alternativet, som er å ikke kunne kommunisere i det hele tatt, påpeker Jochumsen.

Kanskje om ti år

I tillegg er det fortsatt langt frem til at pasienter med stemmelammelse kan dra nytte av den nye strømmeteknologien, sier han.

– Nå har forskerne bevist at det er mulig. Nå er det opp til selskapene å ta det videre, og opp til helsemyndighetene å godkjenne det som en trygg løsning. Det kan godt ta ti år, anslår han.

Forskerne bak studien sier at teknologien kan utvikles til et trådløst, selvstendig implantat som kan bli en vanlig behandling for mennesker som er fanget i sin egen kropp uten mulighet til å kommunisere.

– Nå er vitenskapen klar, sier Gopala Anumanchipalli.

Han spår at det i løpet av de neste 5-10 årene vil være mulig å rehabilitere tapt motorisk funksjon, hvis forskningen får vedvarende finansiering fra føderale myndigheter, filantroper og til og med private investeringer.

Studien er publisert i det vitenskapelige tidsskriftet Nature Neuroscience.

Referanse:

Kaylo T. Littlejohn, Gopala K. Anumanchipalli mfl.: A streaming brain-to-voice neuroprosthesis to restore naturalistic communication. Nature Neuroscience, 2025. (Sammendrag) DOI: 10.1038/s41593-025-01905-6

© Videnskab.dk. Oversatt av Lars Nygaard for forskning.no. Les originalsaken på videnskab.dk her.

LES OGSÅ

– Kunstig intelligens kan erstatta behandlarar som vi ikkje har

Ny modell bruker kunstig intelligens for å oppdage brystkreft

Opptatt av helse, psykologi og kropp?

Mat hjernen med nyheter fra forskning.no om sykdommer, psykologi, kosthold, sex, trening og andre av kroppens mysterier.

Meld meg på nyhetsbrev