Mange forskere har vært bekymret for at de ikke klarer å etterprøve andres forskning. Det er viktig å forske på det samme flere ganger for å kunne stole på at funnene stemmer. Får nye forskere helt andre resultater, gir det grunn til å tvile.

Ikke alle typer forskning kan gjøres på samme måte to ganger. En som intervjuer mennesker vil få ulike svar etter hvem han spør. Men biomedisinske forsøk med samme type deltakere bør kunne komme fram til det samme uavhengig av hverandre.

• Les også: Klarer ikke å bekrefte andres forskningsfunn

Likevel kan det også innen dette feltet være vanskelig å gjenta andres studier. Forskerne forteller nemlig ikke alltid nøyaktig hvordan de har gått fram.

Det erfarte amerikanske forskere da de gikk gjennom studier innen biomedisin fra årene 2000-2014.

Samtlige av de 268 relevante studiene manglet viktig informasjon om hvordan forskningen ble gjort.

– Mange som synder

I korte vitenskapelige artikler er det ikke plass til store metodiske utgreiinger. Derfor er det viktig at det finnes en grundig beskrivelse av forskningsprosessen, mener forskerne.

Det var bare én av studiene de gikk gjennom som hadde gjort en slik protokoll tilgjengelig for andre forskere. Sju artikler viste til ekstra informasjon om metode, men informasjonen var ikke grundig nok, ifølge forskerne.

Ingen av studiene bød på rådata, altså all innsamlet informasjon som lå til grunn for forskernes analyser.

– Det er dessverre mange som synder, sier Nils Chr. Stenseth ved Universitetet i Oslo.

Biologiprofessoren kjenner problemstillingen godt. Han sitter i både Det Norske Videnskaps-Akademi og det europeiske forskningsrådet og har kontakt med forskere fra ulike fagfelt.

– Gjennomsiktighet i forskningen er ekstremt viktig. Alle data bør gjøres tilgjengelig på nett, sier han.

Må spørre forskeren

Manglende informasjon på nett betyr likevel ikke at det er umulig å gjøre studien om igjen.

Det går an å be forskeren om å få tilgang til dataene, slik forskere med hell har gjort tidligere. Det er vanlig praksis, minner Stenseth om.

De amerikanske forskerne sjekket ikke om det fantes nok materiale i forskernes skrivebordsskuff til å kunne reprodusere studien. De ville se hvor mye informasjon de kunne få ut av det som var offentlig tilgjengelig.

Personlig kommunikasjon med forskere bør uansett ikke erstatte en publisering som gir gjennomsiktighet, skriver de amerikanske forskerne. Det er Stenseth enig i.

Flere har tatt til orde for at det må bli lettere å få innblikk i hvordan forskerne har gått fram. Krav om offentliggjøring sikrer dessuten at metode og data faktisk blir dokumentert. Når ingen krever det av dem, tar ikke alltid forskere seg bryet med å beskrive forskningen sin i detalj. Da blir det vanskelig for andre forskere å gjøre det samme på ny.

Ingen straff

En del tidsskrifter krever at forskeren skriver om metoden i et tillegg til den vitenskapelige artikkelen.

– Vitenskapelige artikler blir stadig kortere. Da er det desto viktigere at informasjonen om hva som faktisk er gjort er tilgjengelig for leseren og for forskere som vil bygge videre på det. Jeg ser på tilleggsmaterialet som en del av artikkelen, sier Stenseth.

Det europeiske forskningsrådet, der Stenseth er med, krever at forskerne gjør alle data tilgjengelige på nett for å få penger til forskningsprosjekter.

– Men foreløpig finnes det ingen straff dersom de ikke gjør det. Det er neste skritt, og jeg mener at det er en god utvikling på dette området, sier han.

Gjennomgangen av nyere biomedisinske artikler viser likevel at mange forskere fortsatt lar være å offentliggjøre en grundig beskrivelse av forskningsprosessen.

Forsøksdyr forsvinner

Manglende informasjon om forskningsprosessen kan gi et skjevt bilde av resultatene. Leseren av den vitenskapelige artikkelen kan ikke selv vurdere om konklusjonene holder mål.

I en forskningsgjennomgang gikk tyske forskere studier om kreft og slag nærmere etter i sømmene.

Men det var ikke så lett å forstå hvordan disse rundt 350 dyreforsøkene hadde blitt gjort, for flertallet av artiklene hadde ingen informasjon om hvor mange rotter eller mus som hadde vært med i studien.

Antallet deltakere – enten det er dyr eller mennesker – i medisinske forsøk er viktig for å kunne si noe om hvor solide funnene er. Jo flere deltakere, desto sikrere resultater, er hovedregelen.

– Hårreisende

I sin leting etter antall deltakere oppdaget forskerne dessuten noe mystisk. Dyr forsvant underveis, uten nærmere forklaring. Det gjaldt noen av studiene som hadde oppgitt hvor mange dyr som deltok.

I de fleste forsøkene der dyr ble borte i løpet av studien, forklarte ikke forskerne hva som skjedde med dyrene.

– Det er hårreisende at de ikke skriver hvorfor de forsvinner og ikke er med i analysen. Sånt skal ikke skje, sier biolog Stenseth.

Det er ikke uvanlig at det er flere deltakere som verves til en studie enn de som er igjen når den er over. Både mennesker og dyr kan måtte tas ut av studien. Årsakene kan være alt fra at de ikke lenger oppfyller kravene til å være med til at de får problemer av å delta.

Kan svekke funnene

Men da skal forskerne fortelle om det, slik at leseren kan forstå hva det hadde å si for det endelige resultatet.

– De risikerer å få resultater som presenteres som mye mer solide enn det de faktisk er, sier Stenseth.

– Det er både dårlig vitenskap og dårlig etikk.

• Les også: Døde forgjeves i forskningsprosjekt

De tyske forskerne prøvde å teste hva det kan si for resultatene at forsøksdyr blir fjernet fra en studie. De gjorde statistiske beregninger, så de vet ikke om de stemmer for akkurat disse dyreforsøkene.

De fant at resultatene blir mer usikre jo flere mus og rotter som forsvinner før analysen.

Risikoen er dessuten større for et uriktig resultat dersom det ikke var tilfeldig hvilke dyr som ble luket ut.

Om noen rotter for eksempel dør fordi medisinen de testet er skadelig, kan ikke forskerne bare fortelle om rottene som tåler medisinen godt. Det kan gi inntrykk av at medisinen er tryggere og virker bedre enn den egentlig gjør.

Får ikke samme resultat

Forskere har lenge diskutert hvordan de kan legge til rette for å gjenta hverandres studier for å få sikrere resultater, og det har vært dannet flere initiativer for å dobbeltsjekke andres forskning.

30 tidsskrifter har diskutert tiltak nettopp innen biomedisinsk forskning, ifølge Nature.

For det er mange studier som viser hvor vanskelig det er å få samme resultater om igjen.

I under halvparten av psykologistudiene fikk forskerne samme resultat som de opprinnelige forskerne. En annen studie viste at hele 47 av 53 viktige resultater fra kreftforskningen ikke lot seg etterprøve.

Og da forskere skulle etterprøve et utvalg studier som antyder at mennesket ikke har skyld i global oppvarming, fant de en rekke metodiske feil, viser den vitenskapelige artikkelen.

– Tillitskrise i forskningen

I en lederartikkel skriver redaktørene i tidsskriftet PLoS at det har blitt en tillitskrise i forskningen fordi det er så vanskelig å reprodusere resultater.

Nå vil tidsskriftet sette av plass til mer forskning på forskning, om alt fra metode til evaluering av forskning.

– Jeg synes det er veldig bra, sier Nils Chr. Stenseth, selv om han ikke er enig i at forskningen er i krise.

– Oppmerksomhet rundt god forskningsskikk er viktig. Jeg tror det blir litt vanskeligere å begå disse syndene når alle snakker om det, sier han.

Så gjenstår det å se om mer oppmerksomhet kan endre det de mange initiativene ennå ikke har klart.

Referanser:

Shareen A. Iqbal mfl: Reproducible Research Practices and Transparency across the Biomedical Literature. PLoS Biology 14(1) 2016. Doi: 10.1371/journal.pbio.1002333

Constance Holman mfl: Where Have All the Rodents Gone? The effects of Attrition in Experimental Research on Cancer and Stroke. PLoS Biology 14(1) 2016. Doi: 10.1371/journal.pbio.1002331