Innen noen forskningsfelt er opptil halvparten av de publiserte funnene trolig gale. (Foto: Nomad_Soul / Shutterstock / NTB scanpix)
Vitenskapen er rigget for dårlig forskning, mener forskere
Når det er lønner seg å bruke dårlige forskningsmetoder, er vitenskapens troverdighet i fare.
Det er ikke det at forskere er spesielt uærlige, skriver Paul Smaldino og Richard McElreath i siste utgave av Royal Society Open Science.
Tvert imot kan man trolig gå ut ifra at mange eller de fleste gjør sitt beste for å komme fram til ny erkjennelse – en ny flik av sannhet.
Men dagens vitenskapelige system favoriserer ikke sannheten, argumenterer Smaldino og McElreath.
For hver enkelt forsker lønner det seg i stedet å publisere mye. Og skal du publisere mye, bør du helst få positive resultater og ikke bruke alt for mye ressurser på hver studie.
Dette har ført til at forskningslitteraturen er full av svake studier. Og av resultater som ofte viser en effekt som ikke er der i virkeligheten, mener de to forskerne.
Halvparten er feil
Bekymringen er slett ikke ny.
I løpet av de siste tiåra har forskerne jevnlig diskutert problemet:
Mye tyder på at opptil halvparten av de vitenskapelige funnene innen felt som medisin og psykologi rett og slett er feil. Når andre forskere prøver å gjenta forsøkene, får de ikke de samme resultatene.
I 2012 viste for eksempel en undersøkelse at nesten ingen viktige resultater fra dyre- og celleforsøk på nye typer kreftbehandling lot seg reprodusere da eksperimentene ble gjentatt. Den lovende virkningen forsvant.
En studie fra 2015 peker mot at det ikke står bedre til innen psykologien, selv om en senere undersøkelse trekker den første studien i tvil.
Men hva er det som gjør at mye av forskning fra tilsynelatende seriøse forskere er så dårlig?
Publiser eller dø
Det handler om hvordan det vitenskapelige systemet er bygd opp, mener Smaldino og McElreath.
For en forsker som vil gjøre det godt her i verden, gjelder én hovedregel: Publiser eller dø.
Du må altså produsere mange vitenskapelige artikler som publiseres i så prestisjetunge tidsskrifter som mulig.
Når forskeren skal konkurrere om noen få, svært ettertraktede forskerstillinger, er det viktig å kunne vise en imponerende liste av publiserte artikler. Fortrinnsvis mer imponerende enn resten av søkerne.
Og trenden er tiltagende: Undersøkelser har antydet at søkere på forskerstillinger i dag har publisert vesentlig flere artikler enn tilsvarende søkere for ti år siden, skriver Smaldino og McElreath.
Samtidig bør resultatene også være oppsiktsvekkende. Og vise en virkning. Gjerne en uventet en.
Mye tyder på at positive forskningsresultater – altså resultater som viser at noe virker eller henger sammen – oftere blir publisert i vitenskapelige tidsskrifter. Når forskerne ikke finner effekten de lette etter, havner resultatene urovekkende ofte i en skrivebordsskuff.
Slike negative resultater gir ofte mindre anerkjennelse og er vanskeligere å få publisert i de gjeveste tidsskriftene.
Det gir ikke nødvendigvis den beste forskningen. For å si det sånn.
Selv gale funn er bra
I dette systemet betyr det mer å publisere oppsiktsvekkende resultater enn hvorvidt disse resultatene faktisk er sanne, argumenterer Smaldino og McElreath.
For selv et galt funn kan gi forskeren masse anerkjennelse.
For det første er sjansene små for at feilen blir oppdaget. Det er ganske sjeldent at andre forskere gidder å gjenta forsøkene for å se om de får samme resultat.
For det andre kan det gale funnet gi forskeren anerkjennelse, selv når resultatene er tilbakevist. Andre forskere fortsetter ofte å sitere den opprinnelige studien, fordi de ikke vet at resultatene er avkreftet, skriver Smaldino og McElreath.
Her lønner det seg faktisk å velge metoder som oftere gir positive resultater, uavhengig av om de er sanne eller ei. Og det er best å ikke sjekke sine egne resultater for nøye, siden det både er ressurskrevende og øker risikoen for å ruinere et publiserbart positivt funn.
Evolusjon
Betyr dette at alle forskere er skurker som bevisst velger dårlige metoder?
Nei! understreker Smaldino og McElreath.
Men dette virker som evolusjon: Forskergrupper som tilfeldigvis har valgt metoder som oftere gir positive svar, framstår som mer vellykkede. Post-doktorene publiserer mer og har i neste omgang større muligheter til å starte sine egne forskergrupper. Med seg på lasset tar de metodene.
Slik sprer den dårlige praksisen seg, helt naturlig.
Vi har altså et forskningssystem hvor det som er best for forskeren ikke er det beste for vitenskapen og folket som skal få nytte av den.
I stedet er systemet rett og slett rigget for utvikling av dårlig forskning mener Smaldino og McElreath.
– Noen av de kraftigste drivkreftene i moderne vitenskap oppmuntrer, belønner og sprer aktivt dårlige forskningsmetoder og misbruk av statistiske verktøy, skriver de.
De fremhever at mange forskere likevel gjør svært grundig og god forskning, men at vi til syvende og sist kan ende opp med å betale dyrt hvis vi ikke endrer et system som favoriserer de som publiserer mest.
Referanse:
Paul E. Smaldino & Richard McElreath, The natural selection of bad science, Royal Society Open Science, september 2016.
