Denne artikkelen er produsert og finansiert av Universitetet i Oslo - les mer.
For de fleste er det et mysterium hva som faktisk foregår i musikk. Forstår du mer, vil du også like mer musikk, tror forsker Olivier Lartillot.(Foto: Mubariz Mehdizadeh / Unsplash)
Kunstig intelligens kan hjelpe deg å forstå musikk bedre
Ny teknologi kan åpne folks ører for ny musikk, hevder forsker.
Akkorder, takt, klang, rytme og harmoni – alle disse aspektene ved musikken gjør at den låter som den gjør. Men har du tenkt over hvorfor du liker akkurat den musikken du gjør?
– Musikk er ganske magisk når du tenker over det. Når du lytter, kjenner du på mange følelser. Du forstår at det er et slags språk, men ser ikke hva som skjer. De fleste forstår ikke hva som egentlig foregår.
Det sier Olivier Lartillot, forsker ved RITMO Senter for tverrfaglig forskning på rytme, tid og bevegelse ved Universitetet i Oslo (UiO). Han ønsker å gjøre noe med nettopp dette. Derfor utvikler han nye digitale verktøy som han håper, vil gjøre musikkens magi tilgjengelig for alle.
Først ut er norsk folkemusikk.
– Folkemusikken er så rik og en skatt for norsk kultur. Likevel er det ikke så mange som hører på den. Hvis vi lager et verktøy som kan hjelpe folk å forstå musikken, kan folkemusikken kanskje få en renessanse i Norge, sier Lartillot.
– Hypotesen min er at særlig utrente lyttere vil forstå mer om de også kan se hva som skjer i musikken, sier Olivier Lartillot, som utvikler verktøy for å visualisere musikk.(Foto: UiO)
Bedre musikkforståelse gir tilgang til mer mangfold
Olivier Lartillot mener teknologi kan utvide folks musikksmak gjennom bedre musikkforståelse.
– Ofte liker folk den musikken de hører hele tiden, og som de synes det er lett å forstå. Mens noen typer musikk virker mer komplisert og derfor ikke like tilgjengelig, sier han.
– Hvis vi kan gi folk verktøy for å forstå musikken bedre, gir vi dem samtidig tilgang til mye ny musikk. Det vil være bra for den enkelte, men også for musikken i seg selv – for mangfoldet i hele det musikalske økosystemet.
Også musikkforskere mangler fullstendig kunnskap om musikken de studerer. Lartillot, som gjennom mange år har kombinert avansert musikkanalyse basert på kunstig intelligens med innsikter fra musikkvitenskap, kan bringe dem nærmere svarene de leter etter.
– Nå er vi snart kommet så langt at vi kan lage verktøy som forstår logikken i musikk, sier han.
Trener opp kunstig intelligens med hardingfele
Det beste verktøyet for musikkanalyse med datamaskiner per nå er kunstig intelligens og såkalt maskinlæring.
– Du trener maskinen ved å forklare den at dette er en viss type musikk, og dette er tonene den skal kjenne igjen. Ved å «høre» eksempler prøver maskinen å forstå hva som skjer. Etter å ha jobbet seg gjennom mange nok kan den kjenne igjen toner automatisk.
Musikken maskinen skal klare å transkribere, er Nasjonalbibliotekets katalog med folkemusikk. Ifølge Lartillot er norsk folkemusikk og særlig hardingfela vanskelig materie for maskinen.
– Den store mengden eksempler som trengs, var i utgangspunktet ikke tilgjengelig. Derfor har vi bedt musikere, den profesjonelle felespilleren Olav Luksengård Mjelva og studenter fra Norges musikkhøgskole, om å spille for oss. Deretter designet vi en programvare hvor de kunne se lydene visuelt og plassere notene for oss.
Lartillots kollega, postdoktor Anders Elowsson, bruker nå dette materialet til å lære maskinen hvordan den automatisk kan oppdage tonene hardingfela spiller.
– Dette er arbeid som kan ta hundrevis av timer, på store kraftige maskiner, forteller Lartillot.
Annonse
Neste trinn, der de er nå, handler om å oppdage takt. Den er kompleks i felemusikk. Men når maskinen også har lært seg det, er et interaktivt verktøy i form av for eksempel en app innen rekkevidde.
Visualisering hjelper musikkforståelse
Med appen Lartillot vil lage, vil du kunne bla i katalogen av folkemusikk og dra på oppdagelsesreise i musikken. Når du finner en slått eller et stev du liker, kan appen peke deg i retning av noe i samme landskap.
En av måtene du kan samhandle med musikken er ved å se den.
– Ser du et videoklipp, som spiller på flere sanser og setter i gang flere følelser, tror jeg det vil hjelpe mange å forstå folkemusikken bedre.
Resultatet er ikke på plass ennå, men Lartillot jobber med en god balanse mellom nok detaljer til å forstå mer enn ved å kun lytte og for mange detaljer – noe han tror vil ta konsentrasjonen bort fra musikken.
– Det kan til og med være en slags gamifisering: en interaktiv app hvor du starter med enkel visualisering, og når du mestrer og forstår hva som skjer, får du etter hvert en mer kompleks versjon.
Den samme teknologien som vil bli til en app på smarttelefonen din, kan også brukes på scenen.
For øyeblikket forbereder Lartillot visualisering for en konsert hvor The Danish String Quartet skal spille Bachs fuger. Når de fire musikerne spiller seg gjennom temaene, vil du kunne se hvordan de forskjellige stemmene gjentar hvert tema på en stor skjerm over dem.
– Hypotesen min er at særlig utrente lyttere vil forstå mer om de også kan se hva som skjer. Temaene vil vises etter hverandre på skjermen, så når musikerne begynner å spille en ny repetisjon, vil du se sammenhengene.
Remix av gangar og pols
Appen han utvikler vil også kunne gi mer innsikt i folkemusikken gjennom at man kan leke seg med den og lage egne remixer.
Annonse
– For meg var det en åpenbaring. Da jeg kunne legge beats over musikken, åpnet den seg, og jeg så logikken. Da syntes jeg plutselig norsk folkemusikk ble mye mer interessant, sier Lartillot.
En slik app vil være gratis tilgjengelig for alle. En profesjonell DJ eller komponist, men også en vanlig lytter, kan finne frem et opptak med felemusikk fra 1940-tallet og legge elektroniske beats over.
– Fordi appen gjenkjenner tonene, kan man transformere og endre lyden, for eksempel med elektroniske beats eller el-gitarer. Det går an å lage musikk som høres helt ny ut, selv om det er samme struktur.
Enn så lenge vil en slik app kunne brukes til spesifikk folkemusikk. På lengre sikt ønsker Lartillot å utvide kunnskapen til den kunstige intelligensen, slik at den kan brukes for all musikk.
Forskeren ser også en rekke andre bruksområder for appen.
– Fordi det handler om hvordan vi oppfatter detaljer i musikk, kan dette brukes i musikkterapi og i forskning på musikalsk kognisjon. Jeg håper også at musikkbransjen vil bruke teknologien og integrere den i sine strømmetjenester.
Olivier Lartillot forteller om hvordan musikken fungerer og hvordan han jobber med å utvikle teknologien.
MIRAGE Symposium #1: Computational Musicology
8. – 9. juni arrangerer MIRAGE et digitalt symposium. Her vil musikkteknologer presentere sine nyeste funn og prosjekter, og musikkvitere vil presentere sine behov for teknologisk støtte. Målet er å styrke dialogen mellom musikkteknologer og andre musikkforskere.
Webinaret er åpent for alle og krever ikke påmelding.
