Nature og Science er blant de tidsskriftene som nå forsøker å bidra til å gjøre noe med en krise i forskningen. (Foto: Mariusz Szczygiel / Shutterstock / NTB scanpix)
Verdens største tidsskrifter til kamp mot falsk forskning
Tidsskriftene har blitt beskyldt for å bidra til at mange forskningsresultater viser seg å være falske. Store endringer fra tidsskriftene er underveis, men dansk forsker kaller det et PR-stunt.
Nå skal det bli slutt på forskningsresultater som kunngjøres med pomp og prakt i de store vitenskapelige tidsskriftene, men som ikke kan gjenskapes av andre forskere.
Det er beskjeden fra ledende tidsskrifter som Nature og Science som, sammen med en lang rekke mindre utgivelser, har satt for seg å bekjempe den såkalte «reproduserbarhetskrisen».
Problemet er at mange av de resultatene som blir utgitt, ikke kan gjentas og derfor kanskje ikke er korrekte.
Flere danske forskere har rettet kritikk mot tidsskriftene, som fokuserer på den gode historien i stedet for den gode forskningen.
Tiltak skal gi åpenhet
Nå vil giganter som Nature og Science gjøre noe med problemet.
I midten av mars proklamerte Nature at de hadde tatt i bruk en rekke nye retningslinjer, blant annet bedre deling av vitenskapelige data.
Retningslinjene kalles TOP, en forkortelse for Transparency Openness Promotion.
Science skrev under på de nye kravene allerede i januar.
«Fordelene ved å implementere TOP er ikke bare å bedre reproduserbarheten. Det skaper en ramme for å dele ikke bare resultater, men også data, prøver, koder og metoder, som i mange tilfeller kan være mer verdifulle enn selve resultatene», skriver sjefredaktør Marcia McNutt fra Science.
Ikke noe nytt problem
Men disse retningslinjene er bare det siste skuddet på stammen hos tidsskriftene. Siden omkring 2013 har det vært en liten revolusjon i måten vitenskapelige artikler utgis.
Det akselererte særlig etter denne lederartikkelen i Nature fra 2013, som ble etterfulgt av en lignende leder i Science året etter.
De to tidsskrifter gikk i gang med å bekjempe reproduserbarhetskrisen. De skulle:
- Sette av mer plass til metode og beregninger.
- Gjennomgå artiklene mer systematisk for statistiske feil, både fagfeller og egne statistikere.
- Kreve at forskere gjør mer data tilgjengelig sammen med artikkelen.
- Innføre sjekklister til forskerne for å sikre at alle nødvendige opplysninger er tatt med og rapportert riktig.
Sommeren 2014 skrev en lang rekke andre ledende tidsskrifter innen biovitenskap dessuten under på å forbedre sin praksis på en rekke lignende områder.
International Association of Scientific, Technical and Medical Publishers (STM) skrev i sin årsrapport fra 2015 at medlemmene var oppmerksomme på problemene, og at flere ville publisere flere negative studier, noe det har vært en viss motvilje mot.
Dansk forsker: – Det ligner på et PR-stunt
Rekken av tiltak og erklæringer fører likevel til blandede reaksjoner fra danske forskere.
Torben Lund, som er førsteamanuensis ved Institut for Klinisk Medicin ved Aarhus Universitet, mener tidsskriftene bare «prøver å holde ryggen fri med rekken av mindre tiltak», slik at de kan feie kritikken videre i systemet.
– Det virker mest som et rent PR-stunt. De hevder å ha gjort en masse, men bortsett fra en statistikkgjennomgang og noen spørreskjemaer, kan tidsskriftene i det store og hele fortsette som før. Jeg er ikke imponert, sier han.
Løsning: Kontrakt mellom tidsskrift og forsker
Lund mener at tidsskriftene bør endre måten de vurderer vitenskapelige studier på.
I stedet for å vurdere om resultatene er interessante, bør de se på relevansen av hypotesen. Vurderingen skal altså foregå før data blir samlet inn. Denne praksisen kalles «pre result peer review», preregistrerte forsøk, og praktiseres blant annet av tidsskriftet Cortex.
– Det kunne være en måte å løse problemene på. Det er allerede en kjent arbeidsmåte i medisinske forsøk, men det gir mening på andre felter fordi det fjerner insentivet til å skrive sensasjonelle artikler, sier Lund.
Det betyr i praksis at forskerne skriver en utførlig beskrivelse av hva de vil undersøke, hvorfor og hvordan. Den sendes inn til tidsskriftene, der den blir vurdert av fagfeller. Deretter bestemmer tidsskriftet seg for om studien skal publiseres, forutsatt at metodene i beskrivelsen blir fulgt.
Da blir det mindre fristende å endre på hypotesen og resultatene.
Man motvirker samtidig overvekt av positive, sensasjonelle funn. Samtidig kan fagfellene komme med innspill når det gjelder metoder og analyse, forklarer Lund.
Vil ikke insistere på preregistrereing
Preregistrering nevnes både i TOP-retningslinjene og i lederartikkelen fra Marcia McNutt:
– Vi ser at preregistrering blir en norm på noen få felter, og at mange studier ville ha stor nytte av denne praksisen. Preregistrering kan motvirke ’skrivebordsskuffeffekten’, altså at studier med nullresultater ikke blir formidlet, noe som leter til skjevhet i den publiserte litteraturen mot positive, kanskje uekte funn.
– Likevel vil ikke Science implementere metoden, skriver hun. I hvert fall ikke før den har blitt mer «mainstream.
Forsker: Tidsskrifter vil ikke risikere noe
Torben mener tidsskriftene har en økonomisk basert berøringsangst.
– Preregistrering vil innebære en helt annen type fagfellevurdering, og det vil også innebære at de må utgi mye flere nullresultater, som antagelig ikke vil bli sitert like ofte. Det vil gå ut over tidsskriftenes impact factor, som er det de lever av, sier Lund.
Derfor mener han måleenheter som impact factor og siteringer bør forkastes. I stedet bør forskere og tidsskrifter måles på hvor mye solid forskning de står for.
– Hvis vi kunne vurdere kvalitet i stedet, ville vi unngå dette problemet. Men det er en endring som er vanskelig å gjennomføre for den enkelte forskeren uten hjelp fra modige tidsskrifter og finansieringsinstitusjoner, sier Lund.
– Vi trenger flere nullresultater
Likevel får de nye tiltakene noe ros. Seniorforsker ved Forskningsenheten for Allmenn Praksis på KU, Ole Olsen, mener det er et framskritt.
– Jeg kan faktisk merke en positiv forskjell. Flere tidsskrifter krever at forfatterne forholder seg til datadeling – og det er bra. Dette et utmerket initiativ, sier han.
Torben Lund er enig i at det er bra at noe gjøres. Men han understreker at det er nødvendig med flere tiltak:
– Hvis problemene med reproduserbarhet fortsetter i de neste årene, må vi innrømme at tiltak som TOP ikke var nok. Da må vi begynne med preregistrering og publisere mye flere nullresultater, slik at vi fjerner incentivene til å sende inn funn som ikke kan finnes, sier han.
Referanser:
TOP-retningslinjene (COS)
«Announcement: Transparency upgrade for Nature journals», Nature 2017, doi: 10.1038/543288b
Marcia McNutt: «Taking up TOP», Science 2016, DOI: 10.1126/science.aag2359
«Announcement: Reducing our irreproducibility», Nature 2013, doi: 10.1038/496398a
Marcia McNutt: «Reproducibility», Science 2014, DOI: 10.1126/science. 1250475
«Principles and Guidelines for Reporting Preclinical Research», NIH 2014
Mark Ware: «The STM Report – An overview of scientific and scholarly journal publishing», STM 2015
