Det er som om man lytter til minnet av en sang. Fra et tåkete lydbilde, dukker det opp velkjente toner. 

Det er mulig å skimte ordene som utrykkes «All in all it was just a brick in the wall». 

Forskere har rekonstruert en snutt av Pink Floyd-låten basert på hjerneaktivitet. 

En datamodell ble trent på å se sammenhenger mellom lyden og hva som skjedde i hjernen til 29 deltakere. 

Deretter ble algoritmen brukt til å rekonstruere 15 sekunder av låten, kun basert på hjerneaktivitet.

– Som om de snakker under vann 

Under kan du høre resultatet.

Deltakere lyttet til Another Brick in the Wall, Part 1, fra albumet The Wall fra 1979. Låten med samme navn Part 2 er mer kjent. 

Det første klippet er fra originallåten. Det andre er rekonstruksjonen. 

– Det høres litt ut som de snakker under vann, men dette er vårt første forsøk på dette, sier Robert T. Knight til The Guardian. 

Han har ledet studien og er hjerneforsker ved University of California, Berkeley.

Lage bedre tale-teknologi

Den nye studien gir et innblikk i hvordan hjernen behandler rytme, toner og melodi. 

Forskningen kan på sikt få betydning for utvikling av hjelpeverktøy for folk som har mistet taleevnen, tror forskerne. 

Verktøy som kan lage ord basert på hjerneaktivitet er under utvikling. Ved å ha med rytme, musikalitet og følelser i setningene, kan talen høres mer naturlig ut.

Hadde epilepsi 

Den nye studien baserer seg på data som ble samlet inn for over ti år siden ved Albany Medical Center i USA.

Deltakerne var 29 personer med epilepsi som allerede hadde fått satt inn elektroder i hjernen i forbindelse med behandling for sykdommen.

Det gjorde det mulig å undersøke hvordan hjernen reagerte på musikk. Deltakerne lyttet passivt til Pink Floyd-låten mens det ble gjort målinger fra til sammen 2.668 elektroder. 

Som å se på tangentene 

En datamodell ble trent på 90 prosent av låten. 15 sekunder av låten ble holdt igjen som en test og rekonstruert basert på hjernedataene.

Datamodellen ble trent til å se sammenheng mellom ulike aspekter ved musikken og aktiviteten i hjernen. 

Knight gir et bilde på hvordan det er mulig. 

– Hvis du er en virkelig dyktig pianospiller, og du ser på noen som spiller piano-tangentene, kan du enkelt rekonstruere det de spiller, forklarer han til Science. 

Noen av elektrodene fanget opp individuelle toner, mens andre slo ut på rytme og volum. 

347 av elektrodene fanget opp hjerneaktivitet som var relatert til musikken som ble spilt. Disse befant seg for det meste i tre områder av hjernen. 

Forskerne avdekket for eksempel nye områder i hjernen som var var med på å fange opp rytme, som klimpring på gitar. Andre områder reagerte på ansatsen til en stemme, en synthesizer eller på vedvarende vokal, ifølge en pressemelding om studien. 

Begge hjernehalvdeler

Studien bekreftet at musikk involverer et bredere område av hjernen enn det språk gjør. 

– Språk er mer venstre hjernehalvdel. Musikk er mer distribuert, med en overvekt mot høyre, sier Knight i pressemeldingen.

Foreløpig krever teknologien at elektroder er operert inn i hjernen. 

– Ikke-invasive teknikker er bare ikke nøyaktige nok i dag, sier Ludovic Bellier, som også deltatt i studien.

– La oss håpe, for pasientene, at vi i fremtiden kan lese aktivitet fra dypere områder av hjernen med god signalkvalitet, bare fra elektroder plassert utenpå skallen. Men vi er langt fra der. 

Leser hjernen

Studien er en av flere der forskere har klart å oversette hjerneaktivitet til lyd, bilder eller ord.

I mai skrev forskning.no om et verktøy som kan tolke hjerneaktivitet og gjengi innholdet i historier deltakerne lyttet til. 

Dekoderen kunne til og med gjengi innholdet i en video uten lyd. Teknologien ble omtalt som fascinerende og skummel. Vi beveger oss i retning av tankelesing, kommenterte hjerneforsker. 

I en annen studie ble en datamodell trent til å rekonstruere bilder som deltakere hadde sett. 

Felles for studiene er at datamodellene kun kan tolke meningen i hjerneaktiviteten til personer den er trent på, samt at treningen krever mye tid og bruk av kostbart stasjonært utstyr. 

Det er altså liten fare for at folk får tankene sine lest mot sin vilje enda. 

Referanse: 

Ludovic Bellier, m. fl.: «Music can be reconstructed from human auditory cortex activity using nonlinear decoding models», PLOS Biology, 15. august 2023. 

Å lytte til musikk før konkurranse kan gi fordeler

Idrettsutøvere kan yte bedre om de har på hodetelefonene først.

Få med deg ny forskning

MELD DEG PÅ NYHETSBREV

Du kan velge mellom daglig eller ukentlig oppdatering.