Kornete bilder, lyd som hakker eller video der lyden kommer før bildet. 

Vi er faktisk ganske tolerante for dårlig multimediakvalitet, men det finnes grenser. Og derfor er det viktig - særlig for de som leverer strømmetjenester - å vite mer om hvor denne grensen går. 

Internettbaserte strømmingstjenester baserer seg på komprimerte lyd- og bildeformater. Det vil si datafiler som blir avkodet og konvertert til lyd eller bilde på direkten hos deg som mottaker.

Kvaliteten på det du mottar påvirkes både av metoden for strømming, programvare, protokoller, originaloppløsning, prosessorkraft og båndbredde.

Ragnhild Eg har vært med på å utvikle nye teknikker for å evaluere kvalitet på audiovisuelle systemer. 

– Jeg har sett spesielt på dette med asynkronisitet, det vil si hvor mye lyd og bilde kan skilles i tid før vi legger merke til det. Dette er ofte et stort problem for tjenester som Netflix, forteller Eg. Hun har bakgrunn innen psykologi og er nå postdoktor ved forskningssenteret Simula.

Naturlig tilpasset sansene 

Eg forklarer at sansene våre er konstruert for å kompensere for en viss utakt mellom det vi ser og det vi hører.

Forklaringen er at lyd- og lysbølger beveger seg med ulik hastighet. Når hjernen bearbeider signaler i form av lyd og lys, er disse signalene altså ikke samkjørte.

– Vi kompenserer for dette ved å synkronisere signalene i etterkant, forklarer Eg.

Siden sansene våre er tilpasset universets fysikk, hvor lyd beveger seg mye saktere enn lys, merker vi det veldig raskt dersom lyden kommer før bildet.

– Derfor er det bedre å tvinge lyden til å komme litt seinere, enn å risikere at den kommer før bildet. Vi er ganske tolerante når lyden kommer etter bildet, sier hun.

Har selv blitt veldig sensitiv

Henger lyden etter med mer enn 200 millisekunder er det imidlertid sannsynlig at vi legger merke til det. Ett millisekund er det samme som ett tusendels sekund.

– Med mindre forsinkelse enn 100 milliseknuder er det veldig få som legger merke til det, sier Eg.

Dagens anbefalinger på mellom 40 til 60 millisekunder er derfor veldig konservative, og kanskje mer egnet for telekonferanseløsninger og andre systemer som krever mer presisjon i lyd og bilde.

– Her er det riktignok store individuelle variasjoner. Noen er ekstremt sensitive, sier Eg.

Sensitiviteten ser ut til å ha mest med erfaring å gjøre, og derfor ønsker forskeren å jobbe videre ved å se på musikere som har lang erfaring med å holde tempo. Hun har selv blitt veldig sensitiv etter å ha jobbet med temaet i mange år.

Tolerante når kvaliteten er jevn

Videokomprimeringen skal fungere slik at den prioriterer vekk informasjon som sansene våre ikke er så gode til å oppfatte. Men den kan også føre til at informasjon som sansene er avhengige av forsvinner.

Jo mindre fila er, jo mindre informasjon er det i den. Dette kan påvirke antall piksler eller bilderammer per sekund, i tillegg til farger og lysstyrke.

I tillegg kan kvaliteten bli dårligere av forstyrrelser og forvrengninger som hakking, kornete bilder eller blokker, som vist på videoen under. 

For å undersøke hvordan dette oppfattes, inviterte forskerne et utvalgt knippe personer til å teste ut hvor tålegrensen går for dårlig kvalitet på video. 

– Folk legger merke til ting som dukker opp og skiller seg ut i synsfeltet. Jevnt over dårlig kvalitet legger de mindre merke til ennfor eksempel blokker i bildet. Alt er snakk om grader, men om kvaliteten er grei nok, er folk mer utholdende enn om det skjer mye uventet, forteller Eg.

Videoen under viser hva som skjer når det oppstår blokker i videooverføringen. 

Sporing av øyebevegelser

Forskere innen feltet multimediakvalitet har som regel bedt folk om å rangere kvaliteten på en skala fra én til fem. Testpersonene har dessuten blitt vist veldig korte snutter – typisk på rundt 10 sekunder.

Forskerne i Egs gruppe har imidlertid ønsket å finne noen andre måter å gjøre slike evalueringer på, med mer fokus på hvordan mennesker mottar signaler fra omverdenen og organiserer og tolker dem.

– Det handler om hvordan sansene tar inn informasjon, sier Eg.

De har blant annet tatt i bruk sporing av øyebevegelser og utvikler en ny metode for å tolke slike data med tanke på hvordan vi oppfatter videokvalitet.

Forskere ved NTNU har dessuten utarbeidet en metode for langtidsevaluering, som innebærer at folk ser på en video hvor kvaliteten blir gradvis dårligere.

Med en knapp kan forsøkspersonene justere videokvaliteten selv, og forskerne registrerer punktet hvor de legger merke til kvalitetstapet og justerer opp. De registrerer også hvor mye forsøkspersonene skrur opp kvaliteten. Slik blir de i stand til å si noe om hva som er akseptable kvalitetsnivåer.

Eg og hennes kollegaer har også utforsket interaktive opptredener som går live, for eksempel virtuelle live-opptredener. 

- Musikerne lærer seg å kompensere for at lyden fra de andre henger litt etter på grunn av overføringer. Dette gjorde de ganske intuitivt, så lenge forsinkelsen var konstant, sier Eg.