Norske ungdommer ruser seg på et stoff som ikke finnes, skal vi stole på spørreundersøkelser. Forskere publiserer tall som kan bygge på feil svar, mener Sirus-forsker Hilde Pape.
Det er ikke noe nytt at folk svarer feil i undersøkelser, konstaterer Hilde Pape.
Hun forteller om folk som har skiftet kjønn underveis i en undersøkelse, og om alle som bruker rusmidler som ikke finnes.
Dette er ikke zetacyllin. Men om hun spørres i etterkant om hun har brukt det, kan det hende hun svarer ja likevel. (Illustrasjonsfoto: Colourbox)
– Ja, vi bruker zetacyllin!
Har du hørt om zetacyllin? Neppe. Stoffet finnes nemlig ikke i det hele tatt.
Men i den store Ung i Norge-undersøkelsen i 2002 ble 12 000 ungdommer spurt om de hadde brukt zetacyllin, for anledningen også kalt «kanel».
Det hadde 55, eller 0,5 prosent av ungdommene. 2 prosent fortalte at de var blitt tilbudt det fiktive stoffet.
Hilde Pape er psykolog og forsker ved Sirus, Statens institutt for rusmiddelforskning.
Etter å ha sett tallene i undersøkelsen skrev hun og forskningsleder Elisabet E. Storvoll en artikkel om de falske positive svarene i slike spørreundersøkelser.
– Egentlig hadde jeg tenkt å skrive en festlig sak. Men så fant jeg fort ut at jeg var på sporet av et veldig viktig og veldig alvorlig fenomen, som truer deler av forskningen, sier hun.
Kan ikke luke ut alt
Feil svar er ikke noe unikt for amerikanske jomfrufødsler og norsk kanel-rus:
– Dette skjer i alle undersøkelser, sier Pape.
Hun forteller om gutter som har fått mensen, tenåringer med kjæreste i 70-årene og folk som skifter kjønn fra et skjema til et annet.
I de norske seksualvaneundersøkelsene blir slik åpenbar feilrapportering luket ut før resultatene offentliggjøres, fortalte professor i psykologi, Bente Træen til forskning.no. Hilde Pape er enig, men ser også at ikke all feilrapportering blir fanget opp.
– Vi gjør så godt vi kan for å luke ut, men vi klarer ikke alt. Vitenskapen er ikke eksakt, det vil alltid være feil og slingringsmonn, sier Pape.
Annonse
- Dels er det noen som bevisst tuller og tøyser – og noen av dem er det ganske lett å luke ut fordi svarene er usannsynlige. Men så er det noen som misforstår, og noen rene «slip of the pen». Hadde vi trodd på alt som kommer frem i undersøkelsene, ville verden vært et underlig sted, mener Pape.
Aldri under 5 prosent
Sirus-forsker Hilde Pape kritiserer forskere for å legge for stor vekt på tall som kan bygge på falske positive svar. (Foto: Sirus)
Hun bruker prostitusjon som eksempel:
– Det finnes norske undersøkelser av skoleungdommer som blir spurt om prostitusjonserfaringer. Så blir det skrevet vitenskapelige artikler på bakgrunn av dette. Mitt tips er at prostitusjon er et veldig lavt forekommende fenomen som nærmest ingen i den vanlige ungdomsbefolkningen har erfaring med, sier hun.
For Pape var dette en erkjennelse.
– Jeg har også gjort dette selv i tidligere forskning. Men det skal jeg aldri gjøre mer; å studere fenomener som forekommer hos under 5 prosent av de spurte.
Hun mener at så lenge det er snakk om fenomener som man i utgangspunktet vet at det store flertallet ikke sysler med, så er det ikke fornuftig å spørre gjennomsnittt av befolkningen, og så tro at man får pålitelige tall.
– Du må studere helt andre populasjoner. Da kan du selvfølgelig ikke si noe sikkert om forekomsten i hele befolkningen. Med de lave tallene blir usikkerheten veldig mye større, sier Pape.
– Hvis forekomsten er 1,5 prosent, vil 98,5 prosent ha muligheten til å krysse av feil i ren vanvare. Om bare noen ytterst få av dem svarer feil, øker forekomsten av dette fenomenet mye. De mest overrapporterte fenomenene er egentlig de som er mest sjeldne. Mange forskere er lite aktsommet på dette, meg selv inkludert.
Spør du, får du svar
Da Pape og Storvoll skrev om de falske positive svarene i undersøkelser, lette de lenge for å finne litteratur om temaet.
Det finnes derimot mye forskning om underrapportering, ikke minst på områder som det kan være vanskelig å snakke om – som vold i nære relasjoner eller homofil erfaring blant ungdom.
Annonse
– Mange forskere argumenter med at tallene er for lave. Men i virkeligheten kan de vært grovt overrapportert.
– Du kan spørre om nesten hva som helst av komplett meningsløse ting, og noen vil alltid svare ja i vanvare, fordi de tøyser, eller av andre grunner, sier Pape.
Selv har hun mange oppdrag som fagfellevurderer.
– Jeg slår alltid ned på det hvis jeg kommer over en undersøkelse med stor fare for mange falske positive, sier Pape. – Dette støter vi ganske ofte på også hos erfarne og vel ansette forskere.
– Mangelfull forståelse
Seniorrådgiver Bjørn Are Holth i Statistisk sentralbyrå mener at mange forskere er flinke til å tolke tallene sine, men at noen kanskje har en litt mangelfull forståelse for selve svarprosessen.
Han arbeider i SSBs seksjon for datafangstmetoder.
– Når folk svarer på spørsmål, gjør de det ofte uavhengig av om de har forstått spørsmålet i tråd med intensjonen eller ei.
– Det betyr at hvis du spør et utvalg av befolkningen hva de synes om Norges utenrikspolitikk mot et helt fiktivt land, så det alltid være noen respondenter som svarer på det, selv om spørsmålet altså er helt meningsløst, sier han.
– Det betyr at du vil få en god prosentandel som har synspunkter på og svarer rundt ting som er bare tull, konstaterer Holth.
– Test skjemaet
Holth er ikke enig i at det går noen grense på fem prosent - at et fenomen med en hyppighet på mindre enn 5 prosent, ikke kan legges vekt på:
Annonse
– Det kommer an på hvor stort utvalget er, hva en spør om, og ikke minst hvordan en spør. Det blir feil å si at alle forekomster som er mindre enn fem prosent, ikke er gyldige, sier han, og bruker arbeidsledighet som eksempel.
– Da ville for eksempel ledighetstallene vært meningsløse. Det er de jo ikke, fordi utvalget er stort, sier han.
Oppfordringen hans er klar: Test spørsmålene før du bruker dem.
– Dette gjøres i altfor liten grad i dag. Spørsmålene må testes mot respondenter i målgruppen, nettopp for å kartlegge og belyse svarprosessen. Vi tar inn respondenter og stiller dem oppfølgingsspørsmål om hvordan de forstår spørsmålene i skjemaet og hvordan de resonnerer seg frem til et svar.
– På den måten får vi kartlagt om forskerens intensjon med spørsmålet er i tråd med hvordan respondentene oppfatter det, sier Bjørn Are Holth.
