En ny undersøkelse viser at over halvparten av alle artikler om hjerneforskning utgitt i profilerte tidsskrifter har alvorlige feil i den statistiske analysen. Det fører ofte til en feilaktig konklusjon.

– Feilen er veldig utbredt og skyldes at forskere vet for lite om statistikk. Det gjør at de bruker en feil analysemetode og i mange tilfeller tror de finner en signifikant effekt, sier Peter Allerup, professor i statistikk ved Institut for Pædagogik og Uddannelse ved Aarhus Universitet. Han ikke bidratt til undersøkelsen selv.

Fører til feil konklusjoner

Problemet oppstår når forskere samler inn flere datasett fra det samme forsøkssubjektet – menneske eller dyr. Det kalles korrelerte data eller klyngedata. Det krever en helt spesiell analyse, konstaterer Peter Allerup.

– Med den riktige metoden er det om lag fem prosent risiko for å konkludere feilaktig at det foreligger statistisk signifikans. Bruker man feil metode, stiger risikoen til 80 prosent, sier Allerup.

Av de 314 artiklene som ble gjennomgått i undersøkelsen, inneholdt 53 prosent klyngedata, og ingen brukte en riktig statistisk metode, konkluderer den nye undersøkelsen.

– Man kan derfor forvente feil i de fleste av disse studiene, sier Allerup.

Mangler kjennskap til statistikk

Hjerneforskningen er faktisk ikke den verste, mener Peter Allerup. Han mener at feilene forekommer i enda høyere grad i psykologien og biologien.

– Forskere bruker ofte enkle analysemetoder til å analysere klyngedata, og det gir altså feil resultater, sier Allerup.

Allerup får støtte av Kim Mouridsen, førsteamanuensis ved Institut for Klinisk Medicin og statistiker ved Center for Funktionelt Integrativ Neurovidenskab ved Aarhus Universitet i Danmark.

– Dessverre er det en utbredt feil. Forskere får sjelden mer enn noen få måneders opplæring i statistikk og vet ikke hvordan klyngedata skal behandles. Her kunne man med fordel snakke med en profesjonell statistiker, sier Mouridsen.

Gjøres ikke bevisst

Mouridsen tror ikke forskerne bevisst velger en feil analyse.

– Jeg har arbeidet med statistikk og hjerneforskning de siste tolv årene, og jeg har fortsatt ikke møtt en forsker som har forsøkt å lure seg til et mer interessant resultat, så det tror jeg virkelig ikke er tilfellet, sier Mouridsen.

Heller ikke Peter Allerup tror det.

– Forskere har ikke interesse i å lure noen, men klyngedata er rett og slett veldig praktisk. Derfor må utdannelsene i statistikk forbedres, sier Allerup.

Bedre opplæring

Bruken av klyngedata er nokså nytt. Derfor har ikke utdanningsinstitusjonene blitt klar over omfanget av problemet.

– Universitetene og doktorgrads-veilederne må sikre at nye forskere får god nok opplæring i statistikk. Men det er også et problem tidsskriftene bør være oppmerksomme på, sier Mouridsen.

Før en forskningsartikkel blir godkjent til publisering i et vitenskapelig tidsskrift, så skal det gjennomgås av uavhengige forskere.

– Denne undersøkelsen viser at selv dyktige vitenskapsfolk i de mest populære tidsskriftene gjør feil på dette området. Mange profesjonelle statistikere arbeider i privat sektor. Derfor synes jeg det er synd at statistikkutdannelsen ved H.C. Ørsted-Instituttet, som Danmark en gang var kjent for, har blitt nedlagt, sier Peter Allerup.

– Man kan håpe på at artikler som dette kan skape mer oppmerksomheten rundt problemet.

Programvare skal hjelpe forskere

I løpet av de siste årene har det kommet nye dataprogrammer som skal hjelpe forskere med å velge analysemetode. Kim Mouridsen mener dette kan hjelpe.

– Disse programmene kan gjøre at man ikke må være profesjonell statistiker for å gjennomføre en kompleks statistisk analyse, slik for eksempel klyngedata krever. Med brukervennlige programmer gir man forskere hjelp ti å forstå dataene sine, sier Mouridsen.

– Samtidig kan man håpe at andre tidsskrifter, som Nature, vil bli mer oppmerksomme på problemet.

Referanse:

Emmeke Aarts m.fl.:A solution to dependency: using multilevel analysis to accommodate nested data, Nature (2014), DOI: 10.1038/nn.3648.

© Videnskab.dk. Oversatt av Lars Nygaard for forskning.no.