Norge vet en god del om hvor mange innvandrere som er i arbeidslivet, hvor ofte de oppsøker helsehjelp og andre opplysninger som havner i offentlige registre. Men når forskerne vil vite hva folk mener og hva de opplever, må de spørre dem.

Der er det store hull i kunnskapen om innvandrerbefolkningen, mener forskningssjef Anne Britt Djuve ved forskningsinstituttet Fafo.

Forskning.no skrev nylig om at få innvandrere svarer på spørreundersøkelser.

Det er en kjent problemstilling for Djuve og andre som forsker på innvandrere.

– Å bygge politikk på denne type data kan i verste fall bli helt feil. Funnene blant de som svarer, kan jo være veldig forskjellige fra hvordan det hadde sett ut dersom de som ikke svarer hadde vært med, sier Djuve.

Fraråder skriftlige undersøkelser

Noen av årsakene til manglende svar kan være språkvansker eller lav tillit til forskerne.

Det er også lettere å overse et brev i posten enn en som banker på døra di. Skriftlige spørreundersøkelser gir lavere svarprosent enn undersøkelser der intervjueren oppsøker personene hjemme og snakker med dem ansikt til ansikt.

Når myndighetene vet dette, er det merkelig at de ikke gjør tiltak, mener Anne Britt Djuve.

For noen år siden utarbeidet hun, sammen med kollega Elisabeth Gulløy i Statistisk sentralbyrå, en veileder for spørreundersøkelser blant innvandrere som anbefalte nettopp muntlige undersøkelser. Det var Integrerings- og mangfoldsdirektoratet (IMDi) som ville vite hvordan de kunne gjøre gode undersøkelser blant innvandrerne.

– Stikk i strid med rådene våre

Men direktoratet følger ikke anbefalingene de har bedt om. Integreringsbarometeret, en holdningsundersøkelse som IMDi er ansvarlig for, blir sendt i posten også til innvandrere.

– Undersøkelsen baserer seg på metoder som er stikk i strid med rådene vi ga. Ut fra tidligere erfaringer var det ikke så overraskende at metoden som ble brukt ville gi få svar, sier Djuve.

Resultatet av undersøkelsen som kom i 2014, var svært få svar fra enkelte grupper. Bare 8,9 prosent av norsksomalierne som ble spurt, svarte. Svarprosenten var høyere i andre grupper, som 28,9 prosent blant innvandrere fra Bosnia-Hercegovina. Blant norskpakistanere var den 17,1 prosent.

Da kan ikke IMDi si noe om hva de enkelte gruppene mener om innvandring og det å bo i Norge, hevder Djuve. Når svarprosenten blir lav, øker sannsynligheten for at det er noe spesielt med dem som svarte.

– I verste fall kan dårlige data være verre enn ingen data. For da tror man at man vet noe som man ikke vet, sier Djuve.

Prioriterer ikke dør til dør

Analysesjef Katarina Heradstveit i IMDi er ikke helt enig.

– Jeg tenker at resultatene gir et godt bilde av mangfoldet av holdninger, men med flere forbehold, svarer hun.

– Jeg vil ikke si at undersøkelser med lav svarprosent er uten verdi. Men svarene må tolkes med forsiktighet og sammenlignes med andre undersøkelser.

Hun ønsket seg likevel flere svar på undersøkelsen. Pengene strakk ikke til for IMDi.

– Vi støtter anbefalingene som Djuve kommer med i sin rapport. Men vi hadde ikke budsjett til å gå fra dør til dør, sier Heradstveit.

IMDi har ikke fått i oppdrag å gjøre holdningsundersøkelsene, forklarer hun. Pengene til forskning og utvikling som de rår over må deles på mange områder der det er stort behov for kunnskap.

Dessuten er dette nypløyd mark for IMDi, og det ville tatt tid å lære opp gode intervjuere. Direktoratet bruker allerede mye tid på å sikre at skjemaene er forståelige og oversette dem til mange språk.

IMDi fulgte noen av anbefalingene til Fafo. De purret på telefon og fulgte opp ekstra i gruppene der få svarte.

– Vi lærer fortsatt, og prøver oss fram, sier Heradstveit.

– Vil dere gjøre det annerledes neste gang?

– Det kan jeg ikke si ennå. Men vi er absolutt ikke fornøyde med en svarprosent på åtte-ni prosent i enkelte grupper.

– Blir ikke hørt

Heradstveit mener at heller ikke det å intervjue hjemme hos folk er problemfritt.

– Om du får en intervjuer inn i stua, er det sikkert at du svarer helt ærlig om sensitive temaer som opplevd diskriminering, økonomi og helse? spør hun.

Også hun ser likevel problemet med at undersøkelser som svært få svarer på kan gi et feil bilde av hva innvandrerbefolkningen mener.

– Det kan være stemmer i befolkningen som ikke blir hørt i viktige spørsmål, sier hun.

Integreringsbarometeret kan gi viktig bakgrunnsinformasjon når politikerne skal ta sine beslutninger, forklarer Heradstveit.

IMDi arrangerte i fjor høst et seminar med tittelen «Representative undersøkelser blant innvandrere – en illusjon?».

Der stilte direktoratet spørsmålet:«Hvis svarprosentene er lave, er da datamaterialet ubrukelig?»

Ikke nødvendigvis, mener Ottar Hellevik, tidligere professor i statsvitenskap som har jobbet mye med spørreundersøkelser. Det har blitt færre som svarer på spørreundersøkelser i Norge de siste årene, blant alle grupper.

På seminaret pekte Hellevik på at undersøkelsene kan være gode selv om det er få som svarer. Noen sammenligninger med større undersøkelser viser for eksempel at de små undersøkelsene kan gi et riktig bilde av befolkningen.

Mistenker feil

Problemet er at når svarprosenten er lav, kan ikke forskerne vite hvor representative funnene er, ifølge Anne Britt Djuve, som også deltok på seminaret.

Særlig i forskningen på innvandrere finnes det så få holdningsundersøkelser at forskerne sjelden kan sammenligne dem med andre.

Noe kan de forsikre seg om, som at de som svarer har samme fordeling av kjønn, alder og utdanning som resten av befolkningen. Men det meste er vanskelig å sjekke, for eksempel om holdningene ligner.

– Det er grunn til å mistenke at utvalget er skjevt når det er et lite mindretall som svarer, spesielt i holdningsundersøkelser og i undersøkelser rettet mot grupper som er svakt integrert i det norske samfunnet, sier Djuve.

Forskningssjefen ved Fafo mener det er et generelt problem at myndighetene ikke bevilger nok penger og ikke forstår konsekvensene av få svar – faren for mangelfulle resultater. Flere ganger har Fafo takket nei til å utføre forskningsprosjekter fordi de mener pengene som følger med ikke gir forsvarlig forskning.

– Det er bedre med få, dyre spørreundersøkelser enn mange billige og dårlige, sier hun.

Katarina Heradstveit i IMDi håper at direktoratet i framtida kan trekke på andre undersøkelser for å få et bedre bilde av det innvandrerbefolkningen mener. En ambisjon er å stille samme spørsmål som lignende undersøkelser fra for eksempel Statistisk sentralbyrå og OECD, slik at de kan sammenligne svarene i holdningsundersøkelsene og bedre vurdere om svarene i egne undersøkelser kan være representative.