Det er stadig færre av de en forsøker å få til å delta i intervjuundersøkelser som faktisk blir med. Grunnen er ofte at en ikke oppnår kontakt, eller at de svarer nei når de blir spurt. I forskning.no er dette tatt opp i to artikler om innvandrer-undersøkelser.

En gjaldt deltaking i frivillig arbeid, der svarprosenten var 10. Den andre gjaldt holdninger og erfaringer innenfor ulike innvandrergrupper,  gjennomført av IMDi. Her varierte svarprosenten mellom 9 og 28 avhengig av opprinnelsesland.

Dette er imidlertid ikke spesielt lave tall. I Norge og andre land som USA har meningsmålinger gjennomført på telefon i dag svarprosenter rundt 10. Statistisk sentralbyrå oppnår andeler mellom 50 og 60 prosent, men også for dem har det skjedd en nedgang i senere år.

Men lave svarprosenter i intervjuundersøkelser fører ikke nødvendigvis til skjevheter i resultatene. Svarprosenten i seg selv sier ikke så mye om faren for skjevheter.

Ingen enkel sammenheng mellom svarprosent og skjevhet

I den amerikanske læreboken «Approaches to Social Research» sies det at 85 prosent svar er det en helst bør ha, mindre enn 70 prosent gir alvorlig fare for skjevhet. I Norge ble nylig et langvarig løpende prosjekt avsluttet fordi en ikke fant det forsvarlig å fortsette med en svarprosent på 30. Hvis det faktisk var slik, ville det se mørkt ut for intervjuforskning, som er den mest brukte datainnsamlingsmetoden i mange samfunnsfag.

Heldigvis er dette et altfor pessimistisk syn.

Både amerikanske og norske studier av konsekvensene av frafall har konkludert at det ikke er noen enkel sammenheng mellom svarprosent og skjevhet i resultatene. Skjevheten kan være stor i en undersøkelse med høy svarprosent, og liten selv om svarprosenten er lav.

Det er selvsagt en fordel med høye svarprosenter, også fordi dette gjør det mindre krevende å rekruttere deltakere til utvalget. Men i dag er det knapt noen undersøkelser som har svarprosenter som er høye nok til å garantere at det ikke er skjevheter. Dette må derfor vurderes og så langt som mulig testes i hvert enkelt tilfelle.

Hva skaper skjevhet?

I utgangspunktet er det viktig at deltakerne i en undersøkelse er trukket tilfeldig fra den befolkningen de skal representere. Da er en garantert at egenskapene til dette “bruttoutvalget” avspeiler befolkningens innenfor gitte feilmarginer.

Når “nettoutvalget” en får svar fra utgjør en liten del av bruttoutvalget får vi et problem dersom frafallet har sammenheng med temaet som undersøkes. Hvis derimot frafallet i hovedsak er tilfeldig, vil resultatene fortsatt være representative for befolkningen.

Såkalte innringingsmålinger i debattprogrammer oppfyller ikke disse betingelsene. Det er opp til seerne selv å bestemme om de vil delta eller ikke, og det er gjerne folk med spesielle meninger som tar seg bryet med å ringe inn.

Resultatene ligger derfor i mange tilfeller langt fra de en får i utvalg som er trukket tilfeldig og eget standpunkt ikke har påvirket villigheten til å delta. Et eksempel er når  89 prosent av innringerne  til Holmgang i 1999 ønsket å stenge grensene for flyktninger, mot 17 prosent i en vanlig meningsmåling.

Lave svarprosenter kan gi svar av god kvalitet

I undersøkelsen Norsk Monitor var svarprosenten i 2013 ekstremt lav. I det innledende telefonintervjuet fikk en kontakt med 58 prosent. Av disse var litt under en femtedel villige til å la seg intervjue. Svarprosenten for telefonintervjuet ble dermed 10 prosent. Så ble deltakerne spurt om de ville besvare et spørreskjema som ble sendt i posten. En del sa nei og andre returnerte ikke skjemaet, slik at det til slutt var 40 prosent som fullførte og svarprosenten for hele undersøkelsen ble fire prosent.

Analyser av svarene i telefonintervjuet viser at det betyr lite for resultatene når de 60 prosentene som falt fra i siste runde tas bort. Det viser seg videre at det endelige utvalget gir resultater som svarer godt til befolkningsstatistikk eller resultatene fra SSB-undersøkelser med 50-60 i svarprosent.

Også for utvikling over tid, eller sammenheng mellom egenskaper, viser svarene mønstre som vanskelig kan forklares av det store frafallet fra bruttoutvalget. Konklusjonen blir dermed at selv en undersøkelse med en svarprosent på 4 kan gi data av god kvalitet som kan brukes i vitenskapelige analyser.

Å uten videre forkaste undersøkelser som ligger under en viss grense for svarprosent, ville bety å kaste vrak på mye verdifullt datamateriale. De som hevder det baserer seg mer på synsing og tradisjonelle forestillinger enn på tester av faktisk skjevhet.

For noen fenomener fører bortfallet til at en får en skjevt bilde. Dette gjelder blant annet spørsmål om samfunnsmessig deltakelse. I alle typer intervjuundersøkelser viser det seg at aktive personer også oftere sier ja til å delta, slik at vi for eksempel får for høye tall for det å stemme ved valg.

Undersøkelser av innvandrere

Undersøkelser av innvandrere er spesielt krevende. De kan være vanskelig å finne fram til, språk kan være et problem, og noen kan være mistroiske til myndigheter i sin alminnelighet eller hensikten med undersøkelsen spesielt. På denne bakgrunnen er det egentlig imponerende hva IMDi fikk til i sin  undersøkelse.

Noen mener at en bør bruke personlig intervju for å få opp svarprosenten, ved at intervjueren kan overtale noen til å delta som ikke ville svart hvis de bare hadde fått et spørreskjema i posten. Problemet med dette forslaget er at en intervjuer ofte også vil påvirke de svarene en får, gjennom den såkalte intervjuereffekten.

I Norge har det for eksempel vist seg at andelen som mener det er uakseptabelt med ulike typer lovbrudd ligger opp til 16 prosentpoeng høyere når svarene gis til en intervjuer sammenliknet med når det krysses av i et spørreskjema.

Dette er det som kalles et sosialt sensitivt spørsmål, der den som intervjues kan bli opptatt av hvilket inntrykk svarene gjør på intervjueren. Andre eksempler på slike spørsmål er gudstro, hvor lykkelig en føler seg og kritiske holdninger til ulike samfunnsaktører.

Trolig vil slik intervjuereffekt ofte skape større skjevhet i resultatene enn lave svarprosenter. Det IMDi gjorde, å bruke intervjuere til å purre på telefon for å få flere til å svare, men ikke til å gjennomføre intervjuet, er derfor en god strategi for å unngå skjevheter i resultatene.

Det er mulig å sikre seg mot skjevheter

Siden svarprosenten i seg selv ikke sier så mye om faren for skjevheter, er dette noe som må undersøkes. Da vil det være fornuftig å ta med spørsmål der det foreligger en “fasit” i form av befolkningsstatistikk eller undersøkelser med spesielt høy svarprosent, slik SSB klarer å få til. Dermed vil det være mulig å teste avvik på noen områder.

Men ellers er en henvist til å sørge for at utgangspunktet er et tilfeldig trukket utvalg, og forsøke å unngå at oppfatninger om temaet for undersøkelsen skal få betydning for svarvilligheten, slik at bortfallet blir mest mulig tilfeldig.

Referanser: 

Royce A. Singleton og Bruce C. Straits. (2005). Approaches to Social Research. 4th ed. New York: Oxford University Press.

Tord Finne Vedøy og Astrid Skretting (2009). Ungdom og rusmidler. Resultater fra spørreskjemaundersøkelser 1968–2008. SIRUS-Rapport nr. 5/2009. Oslo: Statens institutt for rusmiddelforskning.

Ottar Hellevik Hellevik (2011). Mål og mening. Om feiltolking av meningsmålinger. Oslo: Universitetsforlaget.

Ottar Hellevik (2015). ”Hva betyr respondentbortfallet i intervjuundersøkelser?”. Tidsskrift for Samfunnsforskning. 56-2: 211-231.