På laboratoriet Sense-IT på NTNU forskes det på digitale opplevelser. Lørdag inviterte laben publikum inn til å oppleve flere prosjekter som er under utvikling.

A-me er ett av dem og er nettopp ferdigstilt. I denne installasjonen får du prøve deg som hjernekirurg. Du får riktignok ikke muligheten til å skjære i hjernen - heldigvis vil mange si - men opplevelsen er virkelighetstro nok.

Du ser inn i en ekte hjerne, via et MRI-bilde lagt over hodet på en dukke. Med et kirurgisk laparoskopi-instrument i hånden forsøker du å navigere så presist som mulig fra punkt til punkt.

Treffer du nøyaktig der du skal, utløser du en behagelig stemme som formidler minner gjennom øreklokkene som lukker deg inne i den virtuelle installasjonsverdenen. Treffer du ved siden av punktene, blandes flere stemmer kakofonisk i ørene dine.

Opplevelsen er både fascinerende og i grunnen ganske ubehagelig. Og du får demonstrert med all tydelighet at en hjernekirurg ikke må skjelve på hendene i det hele tatt. A-me er en del av kunst- og teknologibiennalen Meta.Morf i Trondheim.

Inn i hjernen

Når ekte hjernekirurger opererer, ser de på et bilde av hjernen som er projisert på en skjerm ved siden av pasienten.  Blikket er altså festet et annet sted enn der hendene faktisk er i ferd med å arbeide. Det skaper en ekstra utfordring i det allerede krevende presisjonsarbeidet.

– Vi tenker at det er en unaturlig situasjon. Det ville være bedre om kirurgen faktisk ser ned på pasientens hjerne som hun eller han er i ferd med å operere, sier professor Andrew Perkis som leder arbeidet med de ulike installasjonsprosjektene.

I installasjonen A-me er målet at bildet skal kunne projiseres direkte på den aktuelle hjernen, slik at kirurgen skal kunne stå og se ned på både hjernen, bildet av hjernen og hendene sine under operasjonen.

– Kvalitet i hjernekirurgi handler om presisjon og om tidsbruk. Målet er at kirurgen øker presisjonsnivået. Dette gjelder under selve operasjonen, men også i forhold til hvor man går inn i hjernen. Inngangen ved kikkhullskirurgi spiller også en viktig rolle, sier Perkis.

Teknologi og kunst

A-me står for augmented memories. Perkis definerer prosjektet til å ligge mellom virtuell virkelighet og reell virkelighet, i AR-dimensjonen som er en såkalt forbedret virkelighet.

Prosjektet er utviklet i samarbeid med Aud Sissel Hoel ved Institutt for kunst- og medievitenskap, NTNU, som jobber med billedforståelse. PhD-student Jordi Puig fra Spania har hatt hovedansvar for ferdigstillingen. Prosjektet er finansiert av Norges forskningsråd. 

– Dette er en kunstnerisk vinkling på hjernekirurgi og ikke et kirurgisk presist eksperiment, understreker Perkis.

På Sense-IT-laben jobbes det mye i grenselandet mellom teknologi og kunst.  Mange av forskningsprosjektene retter seg mot opplevelsesnæringen.

– Vi jobber fram nye digitale opplevelser. Blant annet har vi utviklet digitaliseringen av kinovisning og muliggjort 3D-fremvisning for Trondheim kino. Vi har brukeren i fokus og vil gi opplevelse på tre nivåer, sier Perkis.

Han beskriver nivåene som multimodale opplevelser (lyd, bilde, levende bilde, grafikk og tekst), interaktivitet hvor brukeren er aktivt inne og gjør valg - samt en narrativ opplevelse hvor det ligger historiefortelling i bunn.

Følelsen av å sveve

En annen installasjon under Meta.Morf-biennalen, er Chroma Space. Her står du foran et omskiftelig landskap projisert på et lerret, og gjennom dine bevegelser med kroppen får du landskapet til å endre seg.

Du opplever at du beveger deg gjennom byer og natur. Det gir en Superman-aktig følelse av å kunne fly mellom hus og trær, over gater og enger, over land og over vann.

– Kunstinstallasjonene er et biprodukt som vi benytter til å måle brukeropplevelser. Med Chroma Space har vi testet opplevelse av fargemetning. Vi var opptatt av finne ut hva som ble opplevd som god kvalitet i forhold til fargemetning, og våre to testgrupper reagerte svært forskjellig, forteller Perkis.

For eksempel syntes kunststudentene at bildeutglidning ga en visuelt spennende opplevelse, mens teknologistudentene opplevde det samme fenomenet som dårlig kvalitet.

– Dette sier noe om at definisjon av god kvalitet ikke er noe absolutt og allment. Gjennom våre forskningsprosjekter vil vi utfordre den globale testmetodikken på kvalitet.

Denne installasjonen er tidligere vist på kunstutstilling i forbindelse med ACM Multimedia i Firenze i 2010.

Lenke:

Les mer om prosjektene ved Sense-IT