(video: Simula Research Laboratory)

• Se video på YouTube

– Sangere, dansere, musikere og publikum er fordelt på to forskjellige scenerom i kulturhuset istedenfor på to ulike scener i for eksempel Napoli og New York, sier Niels Windfeld Lund ved Universitetet i Tromsø.

– De som opptrer møtes i en global, blandet virkelighet på samme måte som vi er sammen med hverandre via Skype eller videokonferanser. De har kontakt med hverandre via tre lerret på hver scene. Slik kan de se og kontrollere hva som skjer i den andre «byen» og det blir et kunstnerisk spill.

Lund er professor i dokumentasjonsvitenskap og jobber med dokumentteori og multimedial dokumentasjon innenfor ulike felter som telemedisin og kunst, spesielt musikk og opera.

– Jeg fikk ideen til World Opera i 2006 da jeg var gjesteprofessor ved Berkeley og arbeidet med opera som multimedialt dokument, forteller Lund.   

Torsdag 8. desember er det premiere på World Operas første produksjon. Da framføres Pergolesis barokkopera La Serva Padrona i kulturhuset i Tromsø.

Han etablerte The World Opera som består av kunstnere, forskere og teknologifirmaer. Da kolleger i Oslo året etter var på jakt etter ideer til spennende prosjekter, så forskningsprosjektet Verdione dagens lys. Prosjektet støttes av Forskningsrådets program Verdikt.

Kule og gigantiske utfordringer

Prosjektet skal løse de store teknologiske utfordringene som ligger i å realisere en verdens-omspennende nettbasert scene som World Opera er planlagt å bli. Teknologien som utvikles kan også brukes på andre områder som nettkonferanser og telemedisin, som er langt nærmere de problemstillingene IKT-forskerne jobber med til daglig.

Professor Carsten Griwodz ved Simula Research Laboratory er prosjektleder for VERDIONE. Han tente umiddelbart på Lunds prosjektidé.

– Jeg tenkte: spennende, kult og gigantiske utfordringer, sier Griwodz. 

Teknisk sett krever World Opera blant annet høy båndbredde for overføring av lyd og bilde, stabile nettforbindelser og spesialtilpasninger til datakapasiteten på de stedene som deltar.

– Planen var å integrere flere operascener med lokalt publikum til stede alle stedene og at det skulle se ut som alle artistene var på samme scene, forteller Griwodz.

– Vi undervurderte imidlertid hvor vanskelig det er å ekstrahere en person fra én scene og projisere på en annen scene. Vi visste heller ikke hvor store krav denne typen teknologi ville stille til kunstnerne, sier han.

Nye framføringsteknikker

Underveis har de erfart at det er en stor utfordring for kunstnere og teknologer å samarbeide i et forskningsprosjekt.

Det viser seg at det kreves en spesiell kunstnerisk teknikk for å opptre i denne typen oppsetninger.

– Operasangerne må etablere forbindelse mellom hverandre selv om de ikke står på samme scene, men står sammen med skjerm og høyttalere. De må prøve å etablere en kontakt som gjør at det blir en sterk opplevelse, sier Lund.

– Vi har funnet ut at sangerne må være helt fokuserte og se på skjermen hele tiden uten å ta selv et sekunds pause slik de vanligvis kan. Det krever en ny framføringsteknikk, men når de lykkes, blir det bevegelser og uttrykk som viser at de lengter etter å være sammen, utdyper han.

Forstyrrende forsinkelser

Selv små forsinkelser i lyd og bilde er forstyrrende for både publikum og kunstnere. Derfor kan de ikke uten videre sette opp eksisterende operaforestillinger, men må tilpasse eksisterende operaer eller spesialkomponere nye operaer som er laget slik at dette ikke blir et problem.

– Da vi testet utstyret på to sangere, så vi at forsinkelse i lyden fører til at en sanger leder an, mens den andre følger. Det er irriterende for den som leder og som da begynner å sakke farten. Resultatet blir at det går saktere og saktere, og de blir etter hvert liggende flere takter bak, forteller Griwodz.

Kunstnerne som har et trenet musikkøre, forstyrres raskere av lydforsinkelser enn det publikum gjør. For at det skal fungere må den som leder ignorere forsinkelsen hos de andre.

Forsinkelser i utstyret

– Vi visste på forhånd at vi måtte takle forsinkelser for overføring av lyd og bilde i selve nettet og at det er høye krav til hastighet. Vi hadde ikke tenkt på at forsinkelser i selve utstyret som kamera og projektor skulle skape problemer, sier Griwodz.

Testene de gjennomførte med to sangere som stod i hvert sitt rom, viste imidlertid at visningsutstyret gir betydelige forsinkelser i bildet.

– Forsinkelsen i bildet fører til at sangerne slutter å se på skjermene av hverandre fordi det blir for irriterende. Vi måtte lage et system for å måle hvor store forsinkelsene i utstyret var. Det tok det oss et halvt år å få til, forteller Griwodz.

Det viste seg at det ikke alltid er den nyeste teknologien som fungerer best.

– LCD-skjermene som ble brukt, legger til 60 millisekund fra de mottar signalet til det vises på skjermen. Det kan høres lite ut, men når musikerne og dirigenten maksimalt tåler 120 millisekund forsinkelse, så er det faktisk halvparten av det man har å gå på, understreker Griwodz.

– Det er mulig å kjøpe raskere LCD-skjermer, men de er vanvittig dyre.  

Løsningen ble å gå over til analoge projektorer som ikke inneholder dataenheter som bearbeider signalet før det vises på lerretet. Da er forsinkelsen på 20 millisekund, det vil si en sjettedel av det de kan tillate seg.

Raske og stabile nett

Når det gjelder selve nettverksoverføringen, har forskerne lykkes med å få på plass teknologi som gjør at det blir minimalt med forsinkelser i nettet. De har dessuten laget en løsning som sørger for alternative ruter i nettet i tilfelle førstevalget faller ut.

Den tekniske nettløsningen er, ifølge Griwodz, likevel ennå ikke pålitelig nok til at de kan gjennomføre en operaforestilling slik de hadde planlagt. De har blant annet ikke beredskap for å reagere på problemene som ville oppstått.

VERDIONE-forskerne drar også nytte av teknologi som er utviklet for dataspill for å gi signal om hendelser som forandring av lysstyrke i en lampe eller dirigentens bevegelser.

Tredimensjonal projisering

Opprinnelig var planen å bruke tredimensjonal projisering for å få det til å se ut som personene på de ulike stedene står på samme scene.

Her var ikke teknologien kommet så langt som de trodde. Ingen har dessuten brukt teknologien på et så krevende prosjekt som forskerne og kunstnerne jobber med nå. 

– De finnes ikke noen verktøy som kan projisere mennesker i full størrelse på en scene i 3D slik at det ser ut som en naturlig del av scenen for både kunstnere og publikum uansett hvor i salen de sitter, sier Griwodz.

– Dessuten går det ikke raskt nok å ekstrahere 3D-data fra scenen i sanntid for flere kunstnere. Dette skyldes blant annet at det på store scener kan være langt fra kameraene, og lysforholdene kan variere.

Forskerne jobber videre med å videreutvikle denne teknologien. Inntil videre vises personene på de ulike scenene på flere lerret for å skape dynamikk mellom de ulike stedene. I operaen som settes opp i Tromsø nå, har de klart å tilpasse seg dette på en snedig måte.

– Operaen vi skal vise nå, er fra 1733, men vi har flyttet scenen til nåtidsmiljø i businessverdenen der den ene befinner seg i New York og den andre i Napoli. Det skal derfor heller ikke se ut som de er i samme rom, forteller Lund.

– Selv om kunstnerne i denne oppsetningen befinner seg i ulike rom i samme bygg, får vi vist at teknologien virker og at det er mulig å lage forestillinger med scener i ulike deler av verden. Den dagen vi har midler til det, står samarbeidspartnere i San Fransisco, New York og Stockholm klare til å være med. 

Lenke:

Forskningsrådets program Kjernekompetanse og verdiskaping i IKT (VERDIKT),