Vi fôres daglig med meningsmålinger, som ofte spriker i hver sin retning. Johan Giertsen driver nettsiden pollofpolls.no, og irriterer seg over at journalister og akademikere er så lite kritiske når de kommenterer nye meningsmålinger i media.

Poll of polls beregner et mulig valgresultat ved å sammenligne minst to ulike meningsmålinger.

Gjennom syv år med regneark og sammenligninger har han registrert systematiske sprik mellom byråene. Infact, som leverer målinger til VG og Amedia-avisene, pekte seg ut i forhold til de andre etter valget i 2015.

Et byrå gir ofte høyere tall for de rødgrønne

Også valgekspert og professor Bernt Aardal, valgekspert ved Universitet i Oslo, trekker frem Infact:

– Infact leverer jevnt over høyere tall for de rødgrønne enn de andre meningsmålingsbyråene, sier Aardal.

Giertsen gikk nylig ut i Journalisten og etterlyste bakgrunnsmateriale fra dette byrået.

– Hver enkelt meningsmåling er verdiløs om man ikke får bakgrunnstallene, det vil si råtall og andre rådata, slik at man kan etterprøve kvaliteten på resultatene, mener jusprofessoren Giertsen.

Spesielt i år hvor mange partier vaker rundt sperregrensen, er utfallet helt uvisst, mener Giertsen.

Han er medlem av Høyre, og driver Poll of polls sammen med Lars Øy som en hobby.

Bare én av ti som blir ringt, svarer

Giertsen er ikke alene om å påpeke meningsmålingenes svakheter:

– Vi kan ikke helt stole på målingene. Utvalget av personer som blir ringt og som svarer, er det største problemet, sa Bernt Aardal til forskning.no nylig.

Bare ti prosent av dem som blir ringt opp, vil svare. Ofte enda færre.

– Det kan være systematiske trekk ved dem som ikke svarer, som kan gi andre utslag i selve valget, sa Aardal.

Når en type velgere ikke svarer på meningsmålinger, men likevel besøker valgurnene på valgdagen, får vi en systematisk skjevhet. Det kan gjøre at meningsmålingene blir mindre pålitelige.

Robot kan gi skjevheter

Meningsmålingsinstituttene kontakter velgere på forskjellige måter. Det kan også påvirke hvilke deltakere som svarer, slik at vi får et annet resultat ved valget på mandag enn meningsmålingene viser.

Mens de fleste meningsmålingsinstituttene fortsatt bruker mennesker som ringer deltakerne, bruker Infact telefonroboter som ringer flere hundre tilfeldige telefonnumre samtidig. Dette er en såkalt robopoll, hvor du taster inn svarene dine på telefonen.

Trolig er det færre som velger å fullføre dette, i motsetning til å svare på alle spørsmålene fra et menneske.

Disse menneskene kan ha felles trekk, som gjør at de blir mindre representative for de vanlige velgerne.

Mer politisk interessert

– De er trolig mer politisk interessert enn andre. Dermed gjenspeiler ikke meningsmålingen i like stor grad hvilke partier de som er mindre interessert, vil stemme på, påpeker Giertsen.

Byråenes vekting skal i utgangspunktet ta bort slike skjevheter. 

Infact har dessuten altfor få hjemmesittere blant deltakerne, i forhold til hvor mange som reelt sett ikke stemmer ved valg.

– Mens 90 prosent av Infacts deltakere sier de vil stemme, er det egentlig bare 78 prosent som faktisk stemmer, sier Giertsen.

Det tyder på at de er over middels interessert i politikk, og kan være en av årsakene til at det ofte er store sprik mellom Infact og de andre analysebyråenes målingsresultater, mener Giertsen.

Han er redd det fører til at vi får et skjevt bilde av hvilken oppslutning partiene faktisk får.

– Hovedproblemet med Infact er manglende etterprøvbarhet, understreker han. 

Ikke sikkert det er systematisk forskjell

Bernt Aardal bekrefter at meningsmålingene kan gi et skjevt bilde hvis det er systematiske forskjeller mellom de personene som svarer og de som meningsmålingsinstituttene ikke får tak i.  

– Men dette forutsetter at de som ikke svarer, bruker stemmeretten sin, poengterer han.

Meningsmålingsbyråene prøver å få til en fordeling av personer som gjenspeiler forrige valgresultat for å gi et riktig bilde av hva folk har tenkt å stemme ved dette valget.  

Hvis de for eksempel ikke får tak i nok deltakere som stemte Arbeiderpartiet i 2013, må de justere for dette.

Aardal føyer til at meningsmålingsbyråene vekter og kontrollerer ganske bra for dem de ikke får tak i hver enkelt gruppe.

Hjemmesitterne er jokeren

Men hvilke partier er det som kan få en ubehagelig overraskelse på mandag, sett i forhold til meningsmålingene?

– Hjemmesitterne ved forrige valg som nå oppgir at de vil stemme, kan svikte, advarer han.

Han viser til et tidligere valg der SV hadde høye meningsmålinger fra unge og tidligere hjemmesittere, men så bikket de veldig ned under selve valget.

– Da var det mange hjemmesittere og unge som hadde svart at de skulle stemme SV, som likevel ikke møtte opp, forteller han.

– Fremskrittspartiet har også opplevd å ikke få så stor oppslutning som antatt, fordi mange av hjemmesitterne fra forrige valg som sa de skulle stemme Frp, likevel ikke møtte opp, sier Aardal.

Unge velgere blir ofte hjemme

Giertsen bekrefter at de partiene som har eldre velgere, stort sett kan stole på meningsmålingene, mens de som har mange unge velgere, er mer utsatt for å få et dårligere resultat enn i målinger.

–På en mystisk måte treffer de norske meningsmålingene ofte bra, særlig gjelder det valgdagsmålingen, sier Aardal.

I den grad valgdagsmålingen avviker fra tidligere målinger, kan dette rett og slett skyldes dem som har bestemt seg for parti først på valgdagen, eller ombestemt seg.

Bør få se ujusterte tall

Giertsen gikk nylig ut i nettavisen Journalisten og kritiserte byråer som ikke leverer bakgrunnstallene til sine kunder. Det vil si de ujusterte tallene bak resultatene til de enkelte partier.

Han mener at kundene som bestiller tallene, som er aviser, og tv-stasjoner, bør kreve å få utlevert disse bakgrunnstallene.

– Vi bør ta spesielt disse byråenes meningsmålinger med en klype salt, sier han.

Aardal er også litt skeptisk dersom Infact som eneste byrå skal levere valgdagsmåling i år.  

– Vi treffer veldig presist

Fagsjef Knut Weberg i Infact innrømmer at de som taster seg gjennom spørsmålene i automatiske telefonintervjuer, oppgir høyere valgdeltakelse enn i virkeligheten. 

– Det er riktig at hele nitti prosent av dem som gjennomfører våre mekaniske intervjuer, oppgir å ha stemt ved forrige valg, mens valgdeltakelsen er 78 prosent, sier han. 

Men han mener det ikke innvirker på treffsikkerheten i målingen. 

– Vi ser av vår erfaring at ved å bruke valget som ligger nærmest i tid, får vi minst feilsvar, i forhold til valg som ligger lengre bakover i tid, skriver han i en epost til forskning.no. 

Weberg sier at selv utslag på et par prosentpoeng på partiene kan snu helt om på konklusjonen om regjeringsdannelse.

– Eksempelvis viste summen av våre fylkesvise målinger at MDG fikk en samlet oppslutning på 4,0012 %. Da er de over sperregrensen med 50 stemmer av ca tre millioner stemmende. Det finnes ikke den metode i verden som kan fastslå om de er over eller under før vi får det endelige valgresultatet, poengterer han.

– Når vi ser på utdanningsnivå på de som velger å svare på våre politiske målinger, og utdanningsnivå på de som faktisk stemmer, er det lite forskjeller. Vi går derfor ut fra at de som ikke interesserer seg for politikk, som ikke stemte forrige gang, og som ikke har til hensikt å stemme nå, velger å ikke svare på våre undersøkelser om partivalg. Men siden de heller ikke avlegger stemme ved valget, påvirker underrepresentasjonen i liten grad partienes målte oppslutning.

Giertsen etterlyser å få se Infacts rådata. Men ifølge Weberg er Infacts råtall på linje med de andres.

– Men vi har en annen metode å vekte tallene på, som vi mener gir et like riktig bilde, sier Weberg.