Saken er produsert og finansiert av UiT Norges arktiske universitet - Les mer
Teaterforestilling med ny vri. Informatiker Giocomo Tartari og hans kollegaer ved UiT har utviklet et verktøy for å lage teater som kombinerer både virkelige og virtuelle mennesker på scenen.

Lager teater med virtuelle mennesker på scenen

Datanerdene ved UiT har laget teater slik du aldri har sett det før.

12.1 2017 04:00

I en korridor på Realfagsbygget ved UiT står dørene på gløtt inn til forskere som sitter fordypet over dataskjermene sine og programmerer.

Et par studenter sitter i sofaen ute i fellesarealene og prater, lyden av kritt som hamrer på en tavle høres fra et grupperom.

Like ved, bak lukkede dører med gardinene dratt omhyggelig foran vinduet, hopper og fekter to menn, dog med varierende grad av koordinasjon og ynde. Innsatsen er det ingenting å si på. De vifter med armer og snurrer rundt, mens det hele tas opp av et kamera.

Virkelige og digitale skuespillere på samme scene


Giacomo Tartari fra Bologna i Italia har nylig fullført en doktorgrad og jobber ved Institutt for informatikk, der han er tilknyttet Center for Bioinformatics og High Performance Computing group, UiT. (Foto: Vibeke Os/ UiT)

Om det var Giacomo Tartaris naturlige spenst og grasiøse bevegelser som ledet han inn i dette forskningsprosjektet vites ikke, men som én av to stipendiater ble han i 2010 ansatt på et prosjekt som ble satt i gang av Institutt for informatikk, UiT og World Opera i Tromsø.

– Vi har jobbet med verktøy for å kunne sette opp en databasert forestilling, som et teater eller en opera, forklarer Tartari.

– Med det nye verktøyet vil vi kunne lage sceneshow der fremføringer fra mange scener kan slås sammen til en enhetlig opplevelse. Skuespillerne kan befinne seg i forskjellige byer, men likevel stå på den samme virtuelle scenen. Dermed får publikum se en komplett forestilling, der bare noen av aktørene er fysisk til stede, fortsetter han.

Spillteknologi 

Hemmeligheten bak den virtuelle forestillingen er programmet MultiStage, som Tartari har utviklet sammen med kollegaene sine. Programmet registrerer skuespillerens bevegelser på scenen, alle fakter og trinn.

Det viser dessuten skuespillerens opptreden i nåtid på en scene et helt annet sted.

Programmet baserer seg på Kinect, et sensorsystem som fanger opp bevegelser. Kinect brukes i videospill, blant annet Microsofts spillkonsoll, Xbox 360.


Fremstilling av skuespiller som en tredimensjonal sky, som kan forflyttes til en scene langt unna. (Illustrasjon: Giacomo Tartari)

Fanger bevegelser

Tartari forteller at teknikken gikk ut på å filme en person, for så å lage en tredimensjonal sky av piksler, som kan legges på hvilken som helst bakgrunn.

Sammen med kollegaene tilbragte han noen timer foran kamera der han jobbet med å fange bevegelsene sine. Dermed var målet å gjengi bevegelsene i nåtid et annet sted med mest mulig flyt og presisjon.

Slik ser Tartari for seg hvordan dette kan foregå:

På en scene i Berlin står skuespillet «Rome og Juliet» på programmet. Ulykkelige Romeo opptrer foran publikum og uttrykker sin kjærlighet til vakre Juliet.

Juliet vises på en skjerm i bakgrunnen av scenen. Men i virkeligheten befinner hun seg på en balkong på en scene i London, der hennes opptreden filmes og vises i nåtid i Berlin.

Må være naturlig flyt

Siden en forestilling foregår live foran et publikum, må overføringen være rask. Det er for å unngå at skuespillerens bevegelser ikke kommer på etterskudd. I tillegg må overføringen av personen ha naturlig flyt.

Overføringen må også være så god at det ikke blir hakking og forsinkelser.

– Alt dette må tas hensyn til i det programmet vi har jobbet med, i tillegg komme oppsett av en bakgrunn som skal være troverdig og ikke minst mulighet for å bestemme hvilke kostymer den virtuelle personen skal ha på seg.

– Det har vært utfordrende å sy sammen et sett med verktøy som skal kunne fungere sammen på tvers av eksisterende arkitektur, forklarer Tartari.

Så langt har dette bare vært prøvd i liten skala under Tromsø-forestillingen La Serva Padrona i 2012.

Forestillingen ble fremført i to ulike saler, et todelt show der halvparten av scenen hadde levende aktører mens en gigantisk skjerm utgjorde den andre halvparten av scenen.

I pausen byttet publikum sal slik at de kunne se den andre halvparten av showet, «live».

Prosjektet ble støttet av Forskningsrådet og Tromsø Forskningsstiftelse.

Referanse

Giacomo Tartari: “A distributed remote presence system for latency critical human-to-human and human-to-computer interaction”. UiT - Norges arkitske universitet. Doktorgrad 27. september 2016. Sammendrag.

forskning.no ønsker en åpen og saklig debatt. Vi forbeholder oss retten til å fjerne innlegg. Du må bruke ditt fulle navn. Vis regler

Regler for leserkommentarer på forskning.no:

  1. Diskuter sak, ikke person. Det er ikke tillatt å trakassere navngitte personer eller andre debattanter.
  2. Rasistiske og andre diskriminerende innlegg vil bli fjernet.
  3. Vi anbefaler at du skriver kort.
  4. forskning.no har redaktøraransvar for alt som publiseres, men den enkelte kommentator er også personlig ansvarlig for innholdet i innlegget.
  5. Publisering av opphavsrettsbeskyttet materiale er ikke tillatt. Du kan sitere korte utdrag av andre tekster eller artikler, men husk kildehenvisning.
  6. Alle innlegg blir kontrollert etter at de er lagt inn.
  7. Du kan selv melde inn innlegg som du mener er upassende.
  8. Du må bruke fullt navn. Anonyme innlegg vil bli slettet.

Annonse

Saker fra våre eiere

Sykehuset Innlandet HF

Mennesker med psykiske lidelser og rusproblemer får bedre livskvalitet og bedre helse når de får hjelp fra et behandlingsteam.

NTNU

Enkelte med diabetes merker knapt at blodsukkeret blir lavt. Det er uheldig om de for eksempel kjører bil. Nå vet vi mer om hvorfor.

NIBIO

– Dette viser at vi er nødt til å ta godt vare på den skogen vi har, påpeker forsker. 

Saker fra våre eiere

Østlandsforskning

EU vil at alle elever i Europa skal gjennomføre et praktisk entreprenørskapsprosjekt i løpet av grunnopplæringen. Slik har det funket til nå.

Oslo universitetssykehus

Forskere ved Oslo Universitetssykehus vil automatisere jobben som gjøres av legespesialister i dag. – Flere pasienter vil få mer treffsikker behandling, mener prosjektleder Håvard E. Danielsen.

SINTEF

Renere vedfyring kutter helsekostnader og gir miljøgevinst, ifølge ny rapport.

Forskeren forteller:

Når ungdom presses til å drive med idrett, og voksne bestemmer hvordan de skal gjør det, da blir idrettsungdom lei. Men du kan unngå at barna dine mistrives, blir stresset og presterer dårlig på sikt.

Dinosaurenes historie må skrives om, sier britiske forskere etter en ny enorm analyse. Det vil uten tvil ryste fagfolk verden over, men hvis forskerne har rett, løser de flere uløste gåter.

Norske ukeblader skrev om den russiske revolusjonen side om side med strikkeoppskrifter.

Brukerne klumper seg sammen rundt noen nyhetskilder. Sosiale medier kan gi oss et snevert bilde av virkeligheten, mener forskere.