En ny nederlandsk studie bruker datateknologi og kunstig intelligens og tolker hjernens signaler om til tale. Det virker svært lovende og kan trolig bidra til verdifulle hjelpemidler for pasienter i fremtiden, mener norsk hjerneforsker.(Foto: NTB)
KI oversatte hjernebølger til tale
Forskere i Nederland har for første gang tolket hjernesignaler om til tale, ved hjelp av kunstig intelligens. Svært lovende, mener norsk hjerneforsker.
NTB.
Publisert
Forskere ved Radboud University og UMC Utrecht i Nederland har lyktes i å transformere hjernesignaler til hørbar tale, og mener dette prosjektet er et betydelig fremskritt på veien mot å gi mennesker som har mistet taleevnen, stemmen tilbake.
Berezutskaya sier målet er å gjøre slik teknologi tilgjengelig for pasienter som har motoriske problemer, lammelser eller av annen grunn ikke er i stand til å snakke selv.
– Dette er en meget interessant og lovende studie. Siden disse metodene er basert på registrering fra motoriske hjerneområder som styrer musklene som produserer tale, kan de hjelpe pasienter som ikke kan snakke på grunn av muskellammelser og andre rent motoriske problemer, sier hjerneforsker og professor i nevrofysiologi Johan Frederik Storm ved Universitetet i Oslo til NTB.
Simultanoversetter
For å teste ut kvaliteten på teknologien, brukte forskerne implantater plassert dypt i hjernen, i språkområdet hos pasienter som kan snakke. Personene skulle si tolv ord høyt, samtidig som elektrodene i hjernen registrerte hjerneaktiviteten deres.
I kombinasjon med kunstig intelligens (KI) klarte teknologien å tolke hva personene var i ferd med å si, med 92-100 prosent nøyaktighet. Det er første gang slike avanserte KI-modeller har oversatt hjerneaktivitet direkte til hørbar tale.
– Det betyr at vi ikke bare kunne gjette hva folk sa, men vi kunne umiddelbart forvandle disse ordene til meningsfulle, forståelige lyder. I tillegg hørtes den rekonstruerte talen til og med ut som den opprinnelige personen i tonefall og stemmebruk, sier Berezutskaya.
Pasienter som ikke kan snakke på grunn av muskellammelser og andre rent motoriske problemer, vil med ny teknologi kunne få en stemme som gjør dem i stand til å kommunisere mer normalt.(Illustrasjonsfoto: Gorm Kallestad / NTB)
Har begrensninger
Hun understreker at teknologien foreløpig har sine klare begrensninger.
– Generelt er det mindre komplisert å forutsi enkeltord enn å forutsi hele setninger. I framtiden vil større språkmodeller som brukes innen KI, komme til nytte, sier forskeren.
– Denne studien vil trolig snart bli fulgt av nye, store fremskritt, basert på rask i fremgang både innen datateknologi og kunstig intelligens, som maskinlæring og språkmodeller, og også nye, mer avanserte metoder for detaljert registrering av hjernens signaler, sier Storm.
Store framskritt med KI
Forsøkspersonene under testingen var epilepsipasienter som hadde midlertidige implantater plassert et stykke inni hjernen for registrering av aktivitet.
Epilepsipasienter var også med da forskere for første gang klarte å kode om hjernens signaler til tale. Den gangen – for 11 år siden – var det elektroder plassert på hjernens overflate som registrerte aktivitet mens testpersonene lyttet til musikk og tale.
Nevrolog og psykologiprofessor Robert Knight klarte for første gang å rekonstruere ord personene hørte. Tidligere i sommer klarte han og forskere ved Berkeley-universitetet i California for første gang å rekonstruere musikk, med de samme hjerneregistreringene fra 2012.
Annonse
Gjenskapte Pink Floyd
Igjen spilte KI en rolle og tolket utskrifter av hjernebølger fra hjernens lyttesenter for musikk. Forsøkspersonene hadde hørt på Pink Floyd-klassikeren «The Wall». KI rekonstruerte frasen «All in all it was just a brick in the wall» såpass bra at den er gjenkjennelig: rytme, intonasjon og trykk på stavelser kommer fram, mens teksten lyder temmelig grumsete.
– Det høres litt ut som om de snakker under vann, men det er vårt første forsøk på dette, sier Knight, som mener kvaliteten vil bli mye bedre med flere og mer avanserte elektroder.
Forskerne håper avansert teknologi vil kunne tolke hjernens signaler og oversette både det personer prøver å si, det de tenker å si og med en stemme lik personens egen, inkludert stemmeleie, tonefall og trykk på stavelser.
Det vil bety mye å kunne ikke bare si akkurat det man vil, men også uttrykke følelser med måten det blir sagt. Men vil så avansert teknologi noen gang kunne tolke annen mental aktivitet?
– Det er trolig bare et tidsspørsmål før det meste av dette til en viss grad vil kunne måles og gjenskapes, inkludert lyd og bilder, med stadig mer avanserte metoder. Dette gjelder også tanker, drømmer, fantasier og det vi husker, sier Storm.
Vi behøver imidlertid ikke frykte at noen vil spille av tankene våre på TV-skjermen med det første.
– Nei, det er enorme forskjeller mellom en grov klassifisering og en detaljert avlesing, omtrent som mellom de første primitive TV-bildene på 1920- og 30-tallet og kvaliteten nå. Det er uhyre langt fram før det meste kan måles og dekodes, sier hjerneforskeren.
