Saken er produsert og finansiert av UiT Norges arktiske universitet - Les mer
Teaterforestilling med ny vri. Informatiker Giocomo Tartari og hans kollegaer ved UiT har utviklet et verktøy for å lage teater som kombinerer både virkelige og virtuelle mennesker på scenen.

Lager teater med virtuelle mennesker på scenen

Datanerdene ved UiT har laget teater slik du aldri har sett det før.

12.1 2017 04:00

I en korridor på Realfagsbygget ved UiT står dørene på gløtt inn til forskere som sitter fordypet over dataskjermene sine og programmerer.

Et par studenter sitter i sofaen ute i fellesarealene og prater, lyden av kritt som hamrer på en tavle høres fra et grupperom.

Like ved, bak lukkede dører med gardinene dratt omhyggelig foran vinduet, hopper og fekter to menn, dog med varierende grad av koordinasjon og ynde. Innsatsen er det ingenting å si på. De vifter med armer og snurrer rundt, mens det hele tas opp av et kamera.

Virkelige og digitale skuespillere på samme scene


Giacomo Tartari fra Bologna i Italia har nylig fullført en doktorgrad og jobber ved Institutt for informatikk, der han er tilknyttet Center for Bioinformatics og High Performance Computing group, UiT. (Foto: Vibeke Os/ UiT)

Om det var Giacomo Tartaris naturlige spenst og grasiøse bevegelser som ledet han inn i dette forskningsprosjektet vites ikke, men som én av to stipendiater ble han i 2010 ansatt på et prosjekt som ble satt i gang av Institutt for informatikk, UiT og World Opera i Tromsø.

– Vi har jobbet med verktøy for å kunne sette opp en databasert forestilling, som et teater eller en opera, forklarer Tartari.

– Med det nye verktøyet vil vi kunne lage sceneshow der fremføringer fra mange scener kan slås sammen til en enhetlig opplevelse. Skuespillerne kan befinne seg i forskjellige byer, men likevel stå på den samme virtuelle scenen. Dermed får publikum se en komplett forestilling, der bare noen av aktørene er fysisk til stede, fortsetter han.

Spillteknologi 

Hemmeligheten bak den virtuelle forestillingen er programmet MultiStage, som Tartari har utviklet sammen med kollegaene sine. Programmet registrerer skuespillerens bevegelser på scenen, alle fakter og trinn.

Det viser dessuten skuespillerens opptreden i nåtid på en scene et helt annet sted.

Programmet baserer seg på Kinect, et sensorsystem som fanger opp bevegelser. Kinect brukes i videospill, blant annet Microsofts spillkonsoll, Xbox 360.


Fremstilling av skuespiller som en tredimensjonal sky, som kan forflyttes til en scene langt unna. (Illustrasjon: Giacomo Tartari)

Fanger bevegelser

Tartari forteller at teknikken gikk ut på å filme en person, for så å lage en tredimensjonal sky av piksler, som kan legges på hvilken som helst bakgrunn.

Sammen med kollegaene tilbragte han noen timer foran kamera der han jobbet med å fange bevegelsene sine. Dermed var målet å gjengi bevegelsene i nåtid et annet sted med mest mulig flyt og presisjon.

Slik ser Tartari for seg hvordan dette kan foregå:

På en scene i Berlin står skuespillet «Rome og Juliet» på programmet. Ulykkelige Romeo opptrer foran publikum og uttrykker sin kjærlighet til vakre Juliet.

Juliet vises på en skjerm i bakgrunnen av scenen. Men i virkeligheten befinner hun seg på en balkong på en scene i London, der hennes opptreden filmes og vises i nåtid i Berlin.

Må være naturlig flyt

Siden en forestilling foregår live foran et publikum, må overføringen være rask. Det er for å unngå at skuespillerens bevegelser ikke kommer på etterskudd. I tillegg må overføringen av personen ha naturlig flyt.

Overføringen må også være så god at det ikke blir hakking og forsinkelser.

– Alt dette må tas hensyn til i det programmet vi har jobbet med, i tillegg komme oppsett av en bakgrunn som skal være troverdig og ikke minst mulighet for å bestemme hvilke kostymer den virtuelle personen skal ha på seg.

– Det har vært utfordrende å sy sammen et sett med verktøy som skal kunne fungere sammen på tvers av eksisterende arkitektur, forklarer Tartari.

Så langt har dette bare vært prøvd i liten skala under Tromsø-forestillingen La Serva Padrona i 2012.

Forestillingen ble fremført i to ulike saler, et todelt show der halvparten av scenen hadde levende aktører mens en gigantisk skjerm utgjorde den andre halvparten av scenen.

I pausen byttet publikum sal slik at de kunne se den andre halvparten av showet, «live».

Prosjektet ble støttet av Forskningsrådet og Tromsø Forskningsstiftelse.

Referanse

Giacomo Tartari: “A distributed remote presence system for latency critical human-to-human and human-to-computer interaction”. UiT - Norges arkitske universitet. Doktorgrad 27. september 2016. Sammendrag.

forskning.no ønsker en åpen og saklig debatt. Vi forbeholder oss retten til å fjerne innlegg. Du må bruke ditt fulle navn. Vis regler

Regler for leserkommentarer på forskning.no:

  1. Diskuter sak, ikke person. Det er ikke tillatt å trakassere navngitte personer eller andre debattanter.
  2. Rasistiske og andre diskriminerende innlegg vil bli fjernet.
  3. Vi anbefaler at du skriver kort.
  4. forskning.no har redaktøraransvar for alt som publiseres, men den enkelte kommentator er også personlig ansvarlig for innholdet i innlegget.
  5. Publisering av opphavsrettsbeskyttet materiale er ikke tillatt. Du kan sitere korte utdrag av andre tekster eller artikler, men husk kildehenvisning.
  6. Alle innlegg blir kontrollert etter at de er lagt inn.
  7. Du kan selv melde inn innlegg som du mener er upassende.
  8. Du må bruke fullt navn. Anonyme innlegg vil bli slettet.

Annonse

Saker fra våre eiere

Høgskolen i Oslo og Akershus

Mange demente har lite muskler, mindre bevegelighet og dårlig kondisjon. Forskere etterlyser tilrettelagte treningsprogram.

NTNU

Verden spiser mer og mer sushi. Bare i Norge er forbruket tredoblet på ti år. Men den største delikatessen er i fare.

Senter for internasjonalisering av utdanning

Synet på barn, lek og læring varierer sterkt mellom ulike land i Europa. Dette påvirker hverdagen til de ansatte i norske barnehager.

Saker fra våre eiere

Høgskulen på Vestlandet

Ein ny studie tyder på at du faktisk kan velja å oversjå dei skrikande musklane dine.

Høgskolen i Oslo og Akershus
Podcast:

Verdensledere er konstant urolig for hva Trump skulle komme til å buse ut med på Twitter. Hva kan de politiske konsekvensene bli? Og vil Twitter overleve Trump?

NTNU

I NRKs Anno får vi blant annet se hvordan folk forsvarte Norge på 1500-tallet. Da hadde alle våpenføre menn plikt til å holde våpen og stille opp i leidangen dersom de ble utkommandert.

Kronikk:

– Vi forventer at antall terrorangrep i Europa vil holde seg der de er eller kanskje øke litt, sa sjef for Etterretningstjenesten, Morten Haga Lunde, til NRK. Men hvorfor angriper IS egentlig europeiske mål?

Alkohol dreper og skader og gir oss skallebank. Hvorfor er menneskets historie likevel full av fyll?

I NRKs Anno får vi blant annet se hvordan folk forsvarte Norge på 1500-tallet. Da hadde alle våpenføre menn plikt til å holde våpen og stille opp i leidangen dersom de ble utkommandert.

TV-serien Paradise Hotel er like mye såpeserie og situasjonskomedie som reality, mener medieforsker.