Har du også opplevd å lese en nyhet om at poteter er sunne den ene dagen, mens de er usunne neste dag?

Kanskje er den ene historien feil, men kanskje er det bare observert ut fra forskjellige parametere: Den ene historien kan for eksempel bygge på tall om at poteter er bra for fordøyelsen, og den andre at poteter gjør det vanskelig å gå ned i vekt.

Ofte blir det trukket konklusjoner på bakgrunn av mangelfulle data, og det kan være vanskelig å skille mellom riktig og galt.

Hans Christian Petersen, som er førsteamanuensis i statistikk ved Institut for Matematik og Datalogi ved Syddansk Universitet, gir det her en veiledning til de verste statistiske fallgruvene.

Fallgruve 1: For få observasjoner

En av de viktigste tingene å være oppmerksom på når du presenteres for statistikk, er hvor mange observasjoner tallene bygger på. Det er for eksempel altfor stor usikkerhet forbundet med en historie om at enebarn klarer seg dårligere i skolen hvis det bare er noen få barn som har deltatt i studien.

– Det er en klassisk uskikk at man ikke forteller hvor stor datamengden er. Ofte har man som leser ingen mulighet for å vurdere dette, sier Petersen.       

• Les også: Derfor må du kunne statistikk

Fallgruve 2: Det store bildet mangler

En annen fallgruve er at det er tatt et for lite utsnitt av det store bildet, og at endringer i data derfor kan se unaturlig store eller små ut.

– Når man lager grafer hvor man måler noe som har endret seg fra 10 til 12 prosent, ser ikke endringen spesielt stor ut hvis man lar grafen gå fra 0 til 15 prosent. Men går den fra 9 til 13 prosent, ser endringen plutselig dramatisk ut, forklarer Petersen.

Hvis du for eksempel ser en overskrift om at antallet innbrudd stiger voldsomt, bør du sjekke om tallene bare går over de siste tre årene. En graf som går 20 år tilbake, kan kanskje vise at antallet innbrudd er rekordlavt.

– Noen ganger må man leve med at man ikke kan få opplysninger som gir det fulle bildet. Men da må man bare være bevisst på at man bare kan si noe om et smalt utsnitt av virkeligheten, sier Petersen.

• Les også: Resistente bakterier kan bekjempes med statistikk

Fallgruve 3: Bare spurt en spesifikk gruppe

Når forskere gjør en studie, må de generalisere ut fra en snever gruppe som har deltatt i studien.

Hvis du vil si noe generelt om for eksempel alle eldre mennesker, er det ikke bare nok å ha mange respondenter – de må også representere alle de forskjellige typer av eldre mennesker som finnes.

– Hvis skoleelever utfører en studie av hvor mange unge mellom 15 og 18 år som røyker, vil de ofte bare spørre vennene sine. Dermed får de ikke data som er representative for alle mellom 15 og 18 år, sier Petersen.

• Les også: Kan vi si noe om mange ved å spørre noen få?             

Fallgruve 4: Tall uten kontekst

Et problem man også ofte kan støte på, er at det blir presentert tall som ikke sier noe i seg selv fordi de ikke er satt i forhold til noe.

– Helt banalt kan man illustrere problemet ved at du bare får høre at jeg tjener 10 000 kroner. Men er det om dagen, i måneden, flere ganger over flere måneder eller for å utføre et bestemt arbeid? Det må man gjette på som leser, forklarer Petersen.

Og når man gjetter, kan man lett gjette feil.

Hvis du for eksempel leser at 2000 færre er på dagpenger, kan du lett tro at disse 2000 har kommet i arbeid. Men det kan likevel innebære at disse personene har falt ut av dagpengesystemet, eller at de har begynt å studere fordi de ikke kunne få noen jobb.

• Les også: Ordknuserne

Fallgruve 5: Man glemmer mellomledd

Forskere kan også komme til å trekke feil årsakssammenhenger fordi de glemmer å ta høyde for alle de faktorene som kan spille inn på resultatet. Petersen forklarer at dette problemet ofte oppstår innen helseforskning.

– I en studie så det ut som om det var økt risiko for lungekreft hvis man drakk mye alkohol. Men da man tok høyde for om deltakerne var røykere, forsvant effekten av alkohol, og det var bare røyking som betydde noe. Noen fenomener henger altså bare sammen fordi de henger sammen med noe tredje, sier han.

Hvis forskere vil måle hvor sterk sammenhengen mellom for eksempel alkohol og kreft er, må de ta høyde for biologiske og sosiologiske mekanismer som ikke har noe med matematikk å gjøre – i dette tilfellet at alkohol i magesekken skulle gi kreft.

• Les også: Søvnløshet kan gi høyere risiko for slag og hjertesykdom

Fallgruve 6: Tekst stemmer ikke overens med figur

En siste fallgruve er figurer, diagrammer og tabeller som viser noe annet enn selve studien.

Du kan for eksempel støte på et søylediagram over en meningsmåling som viser at Høyre ligger an til å få 20 prosent av stemmene, og Senterpartiet 15 prosent, men likevel er Høyres søyle dobbelt så høy.

Sjekk derfor alltid om de visuelle elementene stemmer overens med tallene.

© Videnskab.dk. Oversatt av Lars Nygaard for forskning.no.