Tenk deg at du er på jakt etter en bestemt type musikk. Ved hjelp av mobilen kan du nå «herme» etter musikken ved å bevege hånden. Da vil appen lete opp den musikken som passer med håndbevegelsene.

Appen som gjør det mulig, heter Soundtracer og er utviklet av Olivier Lartillot ved Institutt for musikkvitenskap (IMV) på Universitetet i Oslo. Tanken bak denne appen er at du skal kunne søke etter musikk på biblioteket på en helt ny måte. Lartillot gir en liten demonstrasjon. Han finner frem smarttelefonen og åpner appen. Så beveger han hånden opp og ned i luften.

– Appen er i stand til å gjenkjenne et musikkstykke som inneholder den samme bevegelsen eller tonehøyden, forklarer han, mens appen leter etter musikk som kan passe med Lartillots håndbevegelser. Den lager en lyd som stiger og synker ettersom Lartillot beveger hånden opp eller ned. 

Se Olivier Lartillot fortelle om og demonstrere appen:

Finner musikk til håndbevegelsene

Noen sekunder senere har appen funnet et musikkstykke som passer med de bevegelsene Lartillot har gjort. Fra mobilen lyder norsk folkemusikk. Det er et musikkstykke som heter Tjugedalaren, som er en såkalt slått. På skjermen vises to grafer, en øverst og en nederst. Den øverste viser de bevegelsene Lartillot har gjort med mobilen. Den nederste viser musikken som spilles.

– For mennesker er det naturlig å uttrykke eller etterligne musikk med håndbevegelser. Dette har IMV-forskere jobbet med i mange år. Med den nye appen er det mulig å bruke denne kunnskapen også til å søke etter musikk, sier Lartillot. 

– Appen lar deg se avtegningene av dine bevegelser og tonehøyden til musikken. Når vi spiller av musikkstykket, beveger det seg en rød strek over begge grafene, slik at man kan se hvordan de to grafene matcher hverandre, forklarer Lartillot.

• Les også: – Elektronisk dansemusikk er ei høgst kroppsleg erfaring

Tusenvis av melodier skal inn i appen

SoundTracer-prosjektet er et samarbeid mellom Institutt for musikkvitenskap og Nasjonalbiblioteket. Forskerne har fått tilgang til en stor samling lydfiler med folkemusikk som Nasjonalbiblioteket har i sin katalog. Til sammen dreier det seg om 14 000 melodier. Så langt har Lartillot lagt inn 50 av disse i appen – men flere skal det bli.

– Disse er lagt inn manuelt. Men jeg har nå utviklet algoritmer som gjør at dette kan gjøres automatisk. Det gjør at vi kan legge inn tusenvis av nye melodier fremover, forklarer han.

Under arbeidet med prototypen har forskerne altså jobbet med folkemusikk. Det har bydd på noen spesielle utfordringer. 

– Å overføre sang er ikke så vanskelig. Det er verre med hardingfele. Tonene fra hardingfele er veldig komplekse, og det er derfor vanskelig å trekke ut tonehøyden. Jeg jobber nå med å automatisere dette også, sier Lartillot.

• Les også: Publikum foretrakk lyden av nye fioliner

Mål om å inkludere rytmen

For øyeblikket er appen basert på vertikale håndbevegelser – jo høyere du beveger hånden, jo lysere er tonen. Men fremtidige versjoner av appen vil også inkludere andre egenskaper, som rytmiske bevegelser, sier Lartillot.

Lartillot presenterte appen på en workshop ved Nasjonalbiblioteket 4. mai, sammen med prosjektleder Alexander Refsum Jensenius.

– SoundTracer-prosjektet er et godt eksempel på hvordan humanistisk grunnforskning kan lede til teknologisk innovasjon, sier Jensenius.

• Les også: Smarttelefonen din kan spore opp kreft