Mye kan gå galt når meningsmålinger utføres. Spesielt galt går det i meningsmålinger i debattprogrammer som Holmgang på TV 2 og Standpunkt på NRK. En undersøkelse utført allerede i 1999 av Opinion for VG viste at norske holdninger til svart arbeid er stikk motsatte av hva Holmgangs undersøkelse viste. Hva er galt?

Representativt utvalg

En undersøkelse bør gi et riktig bilde av hva Norges befolkning mener. Utvalget som svarer må derfor gjenspeile Norges befolkning. Meninger kan variere med bakgrunnsvariable som alder, kjønn, geografi og inntekt.

Et utvalg som tar hensyn til dette, vil gi et bedre anslag. I tillegg bør utvalgene være av en viss størrelse for å gi et anslag nær sannheten. Store utvalg vil imidlertid aldri kunne rette på de feil et ikke-representativt utvalg kan gi.

Før valget på president i USA 1936 ble det holdt en meningsmåling. Den skulle gi et anslag på hvem som ville vinne valget. Et stort utvalg ble trukket ut fra telefonkatalogen og lister over bileiere. Undersøkelsen viste at F. D. Roosevelt (demokrat) ville tape. Vi vet imidlertid at Roosevelt vant. Hva gikk galt?

Det ble nemlig trukket et ikke-representativt utvalg. Grunnen var at republikanere ble overrepresentert i utvalget, fordi bil- og telefoneiere tilhørte typisk øvre middelklasse - og de var ofte republikanere.

Et annet problem med denne undersøkelsen var at frafallet var høyt (75 prosent). Frafall er at noen ikke svarer. Både ikke-representative utvalg og frafall har stor innvirkning på resultatet. Begge gir opphav til det vi kaller skjevhet.

Skjevhet

Skjevhet betyr at utvalget systematisk enten vil gi for høye eller for lave anslag. Det finnes mange kilder til skjevhet. Blant de viktigste finner vi:

• at utvalget ikke er representativt.
• frafall i utvalget.
• selvrekruttering.

  Holmgangs seere gjenspeiler ikke et gjennomsnitt av Norges befolkning, og dermed er de heller ikke representative for Norges befolkning. De som stemmer i Holmgang er ikke engang representative for de som ser på Holmgang. TV-undersøkelsene er selvrekrutterende.

Selvrekrutterende betyr at seerne velger selv å være med i utvalget. I tillegg kan de stemme flere ganger. Summerer vi dette, vil meningsmålingene utført i debattprogrammer som Holmgang og Standpunkt ikke ha noen verdi for seerne. Muligens vil det være en slags lynavleder for seerne. Verdien for TV-selskapet er at dyre tellerskritt gir gode inntekter.

Mange innringere gir ikke et riktigere bilde

I Holmgang er det nærliggende å tro at resultatet blir riktigere bare antall innringere er høyt. Anta at et program har 500 000 seere. Da trenger verken et utvalg på 5 000 (én prosent) eller 50 000 (10 prosent) være representativt.

De som stemmer er engasjerte og villige til å bruke penger på det. Tror du folk med disse karakteristika er representative og i tilfelle for hvem? Er de representative for hele Norges befolkning, for seerne eller for de som ringer inn? Så lenge utvalget ikke er representativt vil resultatet bli skjevt. Dersom flere stemmer, betyr det bare at usikkerheten rundt det skjeve resultatet blir mindre.

Å føre folk bak lyset

Svakhetene i utvalgsundersøkelsene vi har beskrevet kan også gjelde vanlige meningsmålinger. Dette gjelder også om utvalget er utført på en i utgangspunktet riktig måte. Der kan frafall være et spesielt stort problem. Problemet er størst når en hel gruppe, for eksempel utlendinger, ikke svarer.

Programlederne gir ofte inntrykk av at TV-meningsmålingen bare er en spontanreaksjon eller magefølelse. Samtidig kommenterer politikere og andre utfallet av undersøkelsen. Dermed kan de for eksempel ta resultatet til inntekt for eget syn. Det gis inntrykk av at undersøkelsen gir en pekepinn på hva folk mener. Men som vi har påpekt, skal det svært mye til for at disse undersøkelsene får noen verdi utover det å få folk til å betale penger til TV-selskapene.

Et tilleggsproblem er at spørsmålene ofte er formulert på en ledende eller tabloid måte. Av og til er det uklart hva spørsmålene betyr. I debattprogrammene er det kun to alternativer. Det er en stor gruppe som ikke har noen formening. Hvor stor er denne gruppen?