Et av vitenskapens viktigste verktøy er at flere forskere får samme resultater når de gjør lignende studier uavhengig av hverandre. Ved å bekrefte hverandres funn kommer forskerne et skritt nærmere sikker kunnskap. Det er en slags kvalitetssjekk av funnene.
Dette gjelder ikke alle typer studier. Hvis du for eksempel intervjuer forskjellige mennesker om deres erfaringer, vil du få ulike svar.
Men forskere som gjør statistiske undersøkelser med samme tallgrunnlag bør kunne komme fram til det samme uavhengig av hverandre.
Det gjør de likevel langt fra alltid, viser en test av nettopp hvor etterprøvbar slik forskning er.
– Reelle bekymringer
Forskere tok for seg 100 psykologistudier fra 2008 og prøvde å gjøre dem om igjen. Studiene var eksperimenter eller statistiske undersøkelser som testet sammenhenger.
Det gikk bra å gjenta studiene i de aller fleste tilfellene.
Men i under halvparten av studiene fikk de samme resultat som de opprinnelige forskerne.
Det bekymrer forskerne bak gjennomgangen, i likhet med mange andre som har spurt seg om hvor vanskelig det er å bekrefte forskningsresultater. Det har blant annet vært satt i gang initiativer som skal legge til rette for å dobbeltsjekke andres forskning.
– Dette prosjektet viser at bekymringene er reelle og kan tas tak i, sier Brian Nosek ved University of Virginia i USA i en pressemelding. Han er en av dem som har undersøkt de 100 studiene.
Han understreker at motstridende funn ikke betyr at den opprinnelige studien var dårlig, men at det viser hvor utfordrende det kan være å få samme resultater om igjen.
Det kan være slik at de opprinnelige forskerne fikk feil resultat eller var så ivrige etter å få bekreftet antakelsene sine at de så det de ville se. Men det kan også hende at forskerne som skulle gjøre studien om igjen kan ha gjort den litt annerledes.
Denne uka har klimaforsker Rasmus Benestad ved Meterologisk institutt, sammen med andre forskere, publisert en studie der de har etterprøvd et utvalg studier som antyder at mennesket ikke har skyld i global oppvarming. De fant en rekke metodiske feil, ifølge forskerne bak den nye artikkelen som er publisert i Theoretical and Applied Climatology.
Fikk motsatt resultat
I den nye gjennomgangen av psykologistudiene fikk forskerne mye sjeldnere resultater som var sterke nok, signifikante, i den statistiske analysen.
Mens 97 prosent av de opprinnelige studiene hadde signifikante resultater, hadde bare 37 prosent av de gjentatte studiene det.
Noen ganger fikk forskerne faktisk motsatt resultat enn forskerne i den opprinnelige studien.
De prøvde å finne ut hva tilfellene der de fikk samme funn som den opprinnelige studien, hadde til felles. Forskerne undersøkte fem elementer som kanskje kunne påvirke.
Lettere å gjenskape sikre funn
Det er ikke overraskende at det var vanskelig å få samme resultater om igjen, mener forsker Atle Fretheim. (Foto: Nasjonalt kunnskapssenter for helsetjenesten)
Det viktigste var hvor sikre de opprinnelige funnene var. Det er vanlig å måle styrken i funnene gjennom å sette en grense for når det ikke lenger er sannsynlig nok at de stemmer. Vanligvis går grensa ved 0,05.
Forskerne fant at det var vanskeligere å få samme funn dersom de opprinnelige resultatene lå nær denne grensa. Var resultatene derimot veldig sterke, var de mye lettere å reprodusere.
– Jeg er ikke overrasket, sier Atle Fretheim til forskning.no.
Han er seksjonsleder ved Nasjonalt kunnskapssenter for helsetjenesten og jobber mye med kunnskapsoppsummeringer.
– Jo sterkere funn, desto mer kan vi stole på at resultatet ikke er tilfeldig. Da burde det også være lettere å få samme resultater om du gjentar studien, sier han.
Han ser sjelden studier som direkte går andre forskere etter i sømmene. Som oftest prøver forskerne å finne ut om noe stemmer ved å gjøre lignende studier. Men slike studier kan også gi oss et hint om hvor sikkert et funn er.
Forskernes erfaring mindre viktig
Artikkelforfatterne sammenlignet også egenskaper ved forskerne bak studiene, som hvor mye erfaring de hadde eller hvor ofte de ble sitert i andre forskeres vitenskapelige artikler. Det viste seg å være mindre viktig for om de fikk samme resultater eller ikke.
Forskerne bak reproduseringsstudien vurderte dessuten selv, hver for seg, om de hadde lykkes med å gjenta de opprinnelige studiene.
Annonse
Det finnes ingen standard metode for å finne ut hvor godt studier lar seg gjøre om igjen, og målene forskerne brukte er langt fra de eneste.
– De kunne også vurdert om måten studien var gjennomført på var god eller dårlig, sier Fretheim.
Problem i flere fagfelt
Uansett tyder funnene på at manglende etterprøvbarhet er et vanlig problem.
Atle Fretheim kjenner det igjen fra flere fagfelt i helseforskningen.
– Ofte ser vi at resultatene spriker. Vi som jobber med kunnskapsoppsummeringer blir glade når vi finner flere studier der resultatene er noenlunde like. Det gjør oss tryggere på at vi er i nærheten av sannheten.
Forskning som ikke finner noen sammenhenger havner lettere i skrivebordsskuffen enn andre typer studier, noe forskning.no tidligere har pekt på.
Forskere kan bli skeptiske til egne metoder når de ikke får samme resultater som andre forskere, selv om de ikke nøyaktig reproduserer deres studier.
Tidsskriftredaktører har også vært bekymret for hvordan de kan sikre at studiene de trykker er etterprøvbare. Som da representanter for 30 tidsskrifter møttes i fjor for å diskutere tiltak for biomedisinsk forskning, melder tidsskriftet Nature.
En del forskere hevder imidlertid at tidsskriftene har noe av skylda for at det finnes få slike studier, fordi de ikke vil publisere studier som gjentar andres, ikke viser noen sammenhenger, eller bare bekrefter det andre allerede har funnet. Det har liten nyhetsverdi.
Annonse
Men Fretheim på sin side er ikke like sikker på at det er så vanskelig å slippe til med slike studier.
– I mitt felt, helseforskning, er det både engasjement og oppmerksomhet knyttet til det å få sikrere kunnskap. For den danner grunnlaget for viktige beslutninger om alt fra brystkreft til sykepleie. Men jeg skjønner at det å bekrefte kunnskap som allerede er godt etablert ikke gir så mye prestisje.
– Det er dessuten ofte vanskelig å få penger til slike studier.
