Å bruke maskiner til å lage musikk er langt fra nytt. Men de siste årene har kunstig intelligens (KI) inntatt musikkens verden: For eksempel kan et menneske skrive hovedmelodien mens maskinen, gjennom KI, lager arrangementet i bakgrunnen.
Musikk laget av KI har imidlertid sjelden så mye overraskende ved seg, ifølge Cağrı Erdem. Han er forsker ved RITMO Senter for tverrfaglig forskning på rytme, tid og bevegelse på Universitetet i Oslo.
– Overraskelser ikke er KIs prioritet. Det handler mer om å gi deg det du bestiller, sier han.
Dette ønsket han å gjøre noe med.
– Jeg ønsket at maskinen skulle bli en partner, at vi kunne lage musikken sammen. Da måtte maskinen ha en form for egen vilje, slik at den kan handle på egenhånd, sier han.
Det engelske fagbegrepet «agency» handler om at en maskin kan handle på egenhånd.
Maskinen som partner
Dette ble tema for doktorgradsavhandlingen. Her utforsket han det han har kalt delt kontroll.
Han har utviklet interaktive systemer. Et system er et instrument som kontrolleres både av en musiker og av en maskin, og der begge aktører kan ta valg. Forskeren har gitt systemet navnet CAVI.
Et lydklipp der seks gitarer lytter og reagerer basert på det de hører blir et slags gitarkor. Erdem forklarer at gitarene gir sitt eget bidrag til komposisjonen.
I denne videoen spiller Cağrı Erdem og seks selvspillende gitarer ved hjelp av CAVI
Kroppens viktige bevegelser
Han har også utforsket hvordan vi kan bruke kroppen til å samhandle med KI.
– Når du ser på de KI-systemene som finnes i musikk i dag, samhandler de ikke med menneskekroppen. De baserer seg stort sett kun på lyd. Men når du spiller sammen med musikere, kommuniserer du med dem både gjennom lyd og bevegelse.
Cağrı Erdem fikk derfor 36 gitarspillere til laboratoriet. Han samlet et datasett som fortalte hvordan bevegelsene deres hang sammen med musikken de spilte.
– Jeg så at det er et tett forhold mellom lyd og bevegelse, spesielt bevegelsene av høyrehånden. Måten vi berører gitarstrengen på reflekterer nesten nøyaktig hvordan lyden høres ut.
Erdem brukte en algoritme for maskinlæring til å kode bevegelse og lyd, slik at han senere kunne gi maskinen informasjon om bare bevegelse og få lyd fra maskinen som resultat.
Han endte med et system som kan lage musikk mens han spiller luftgitar.
Systemet fikk navnet «Playing in the «air»». På sikt kan slik teknologi forbedre samspillet mellom mennesker og maskiner, mener han.
Annonse
Forskeren viser hvordan et system kan lage musikk mens han spiller luftgitar.
Nye instrumenter gir framtidens musikk
Erdem jobber med et smalt felt. Men han mener at forskningen er viktig – av flere grunner.
– I musikkhistorien har enkelte nye instrumenter hatt en svært stor påvirkning på musikken som blir laget.
Da pianoet kom, het instrumentet opprinnelig «pianoforte». Det var fordi du kunne spille svakt, av italiensk: piano, og sterkt, av italiensk: forte, på det.
– Musikkstykker som ble skrevet i etterkant, bærer preg av de nye mulighetene som pianoet ga. Slik påvirket instrumentet musikken. Jeg mener at forskning på nye instrumenter er svært viktig fordi det er med å bygge grunnlaget for framtidens musikk, sier Erdem.
En mer kreativ kunstig intelligens
Han peker imidlertid på at teknologifeltet ledes av ingeniører, ikke kunstnere.
– Dette ser vi på de KI-systemene vi har i dag. Skriver du ordet katt i en søkemotor, får du opp bilder basert på andre kattebilder. Dette gir jo mening, men det innebærer også at algoritmen ikke gir deg bilder av de sjeldne kattene.
Hvis KI skal kunne bidra til å skape bredere musikalske uttrykk, må flere kunstnere begynne å bruke det, ifølge Erdem.
– Vi som jobber i krysningsfeltet mellom kunst, teknologi og forskning, må utforske hvordan algoritmer kan være med å utvide kunsten og musikken i framtida.
Cağrı Erdem forsker på hvordan kunstig intelligens blir brukt i musikk.(Foto: UiO)
KI i framtiden
KI bidrar allerede betydelig til folks musikkopplevelser. Når strømmetjenesten anbefaler artister til deg? KI. Når du lytter til filmmusikk med store orkester-arrangementer? Det kan være KI som har laget dem, kanskje basert på en enkel melodi.
Annonse
Forskeren er ikke i tvil om at KI om 50 år vil være til stede i alle stadier av musikkproduksjon.
– Jeg tror vi vil bruke KI både i låtskriving, arrangering, innspillinger, miksing, strømming, promotering og live-opptredener – blant annet.
I tillegg tror Erdem at vi vil ha KI-musikere med enorme fanskarer. Musikkroboten Shimon finnes allerede. Foreløpig har den ingen fanskare, men den kan bookes til arrangementer.
– Så vil vi nok måtte gå noen runder med opphavsrett. Der vet vi ikke hvordan ting blir ennå. Her har vi for eksempel strevd med å finne ut hvem som har opphavsretten til musikken CAVI bidrar med, for det finnes ikke regler for dette i det norske systemet, sier Cağrı Erdem.
Referanse:
Cağrı Erdem: Controlling or Being Controlled? Exploring Embodiment, Agency and Artificial Intelligence in Interactive Music Performance. Doktorgradsavhandling ved Universitetet i Oslo, 2022. (Nettside på UiO om avhandlingen)
