For lite forskning gjentas for å bekrefte tidligere funn. Et nytt initiativ skal gjøre det billigere å reprodusere eksperimenter, og vil forhåpentligvis luke ut dårlig vitenskap.
Denne artikkelen er over ti år gammel og kan inneholde utdatert informasjon.
(Illustrsjonsfoto: colourbox.no)
forskning.no har tidligere skrevet om problemet med ikke-reproduserbare studier: Etter at forskere har fått et positivt og spektakulært resultat, for eksempel arsenbasert liv, publisert i et av de store tidskriftene, viser det seg at andre forskere ikke får samme resultater når de forsøker å gjenta eksperimentet.
Det kan skyldes juks, men like ofte kan det være snakk om for stort fokus på positive resultater som gjør at man ser det man ønsker å se, eller tilfeldigheter.
En nylig studie viste at hele 47 av 53 viktige resultater fra kreftforskningen, som legemiddelselskaper etterpå har investert store summer i å videreutvikle til medisiner, ikke lot seg reprodusere.
Nyvinningen The Reproducibility Initiativ, eller reproduseringsinitiativet på halvgodt norsk, har satt seg mål å hjelpe til med å rette opp i situasjonen.
Initiativet gir forskere mulighet til å sende inn forskningsprotokollene sine og få eksperimentet gjentatt av uavhengige forskere. Består resultatet testen, får forskningen en ekstra fjær i hatten.
Om den ikke lar seg reprodusere, så slipper du i hvert fall å bygge karrieren din på sviktende grunnlag, og skattebetalerne unngår å finansiere forskning som aldri vil lede noe sted.
Får ikke publisert reprodusering eller negative resultater
Initiativet er et samarbeid mellom selskapet Science Exchange, publiseringskanalen Public Library of Science (PLoS) og datadelingstjenesten figshare.
Science Exchange jobber allerede med å formidle kontakt mellom forskere som trenger spesiell teknisk ekspertise og laboratoriene som sitter på slik kunnskap. Det gjelder vanligvis helt nye studier, men nå vil de altså ta imot henvendelser fra forskere som ønsker å få testet resultatene sine.
figshare stiller med databasen der forskerne kan dele råmaterialet, mens det åpne publiseringssystemet PLoS vil publisere resultatene fra testene, uansett om de er positive eller negative.
I PLoS vil studiene som kommer fra dobbeltsjekkingen finne en publiseringskanal. (Foto: (Bilde: PLoS))
Noe av problemet er nemlig at forskere som faktisk tester sine egne resultater, og til og med finner at tidligere publiserte studier er feil, sjelden får slike oppfølgingsstudier akseptert av tidsskriftene.
Nature, Science og de fleste andre tidsskrifter ønsker de mest banebrytende og oppsiktsvekkende resultatene, og da er det vanskelig å komme gjennom med en studie som ”bare” er en ny analyse av materiale vi hadde fra før.
PLoS og Nature ombord
– Jeg mener det vil være en enorm gevinst for forskningen hvis vi kan få på plass åpne metoder og mål for å validere viktige forskningsresultater, sier Elizabeth Iorns, initiativtageren bak prosjektet, til forskning.no.
Iorns er direktør for Science Exchange og førsteamanuensis ved University of Miami School of Medicine i USA.
Annonse
Nature, et av verdens mest prestisjetunge tidsskrifter, har annonsert at hvis studier publisert i deres tidsskrifter blir sjekket gjennom initiativet, vil de lenke opp til resultatet på sine sider.
– PLoS, Nature og andre tidsskrifter er svært interesserte i å opprettholde og forbedre kvaliteten på forskningslitteraturen, sier Iorns.
Det bekrefter Elizabeth Silva, en av redaktørene for PLoS One.
– Slike studier har tradisjonelt sett vært vanskelige å få publisert, fordi de ikke er interessante eller nyskapende nok. PLoS One er et av svært få tidsskrifter som aktivt oppfordrer forskere til å sende inn studier som reproduserer resultater, så vi følte at våre mål er de samme som målene for dette prosjektet, sier hun i en kommentar til forskning.no.
Biomedisinsk fokusert
Forskerne tilknyttet The Reproducibility Initiative har stort sett biologisk eller medisinsk bakgrunn. Studiene som testes vil sannsynligvis i første omgang komme fra den kanten.
Noen eksperimenter vil dessuten sannsynligvis aldri kunne testes gjennom denne modellen, fordi de teknisk eller faglig sett er så avanserte at ekspertisen for å gjennomføre dem kun sitter hos forskerne selv.
Slate Magazine nevner for eksempel arbeidet til en gruppe forskere ved University of Washington, som nylig sekvenserte genomet til et 18 uker gammelt foster, kun basert på blod fra mor og spytt fra far.
Kostnadsutfordring, mener norsk forsker
– Den store utfordringen for oss er finansieringen, sier Iorns til forskning.no.
Per i dag er det forskerne selv som skal betale for å få studien sjekket. Iorns og kollegene har beregnet at prisen vil være rundt 10 prosent av kostnaden ved å gjøre den opprinnelige studien.
Øystein Fodstad. (Foto: Elin Fugelsnes)
Annonse
Øystein Fodstad er leder for institutt for kreftforskning ved Oslo Universitetssykehus Radiumhospitalet. Han er i utgangspunktet positiv til ideen, men kan ikke se for seg at forskerne under hans ledelse vil ta i bruk initiativet med det første.
Problemet ligger nettopp i det at forskerne selv må betale for tjenesten.
– Selv om det bare koster noen prosent av den originale kostnaden, er det fortsatt store utgifter. Slik budsjettsituasjonen er nå, strekker pengene rett og slett ikke til, sier han til forskning.no.
– Dessuten vil det sannsynligvis forsinke innsending av publikasjonene våre. Publikasjonene er jo det vi kan bruke for å søke nye midler og på den måten holde maskineriet gående, så det vil i så fall være et problem.
Hjelp til Nobelprisvinnere?
Iorns og kollegene håper å kunne få med seg finansieringsinstitusjoner på laget etter hvert, og få dem til å ta hele eller deler av regninga.
– Vi tror at stiftelser og institusjoner som finanserer forskning har all grunn til å ville sikre at forskningen de støtter er reproduserbar før de investerer i videreutvikling av resultatene, sier Iorns.
Fodstad er dessuten skeptisk til om initiativet i hovedsak vil hjelpe de forskerne som egentlig ikke trenger noe ekstra puff i ryggen.
– De som benytter seg av et slikt tilbud er de som allerede har midler til å gjøre det, så da melder spørsmålet seg: Hvem er det? Er det de som allerede har et godt omdømme, og mye midler, og som vil styrke sin posisjon ytterligere? Eller er det unge forskere på vei opp, og som søker oppmerksomhet og støtte til prosjektene sine? Jeg er redd det blir den første gruppen, og ikke den siste, sier han.
Premiere de gode, ikke staffe de dårlige
Et annet problem oppstår hvis initiativ som dette blir en hvilepute for forskerne.
Hvis kommersielle selskaper tar over jobben med å dobbeltsjekke forskningen, kan det gjøre at forskere i enda større grad fokuserer på det spektakulære, men kanskje noe tvilsomme resultatet de ikke er helt trygge på. Så får det heller være noen andres jobb å sjekke om de har gjort hjemmeleksene sine.
Annonse
Iorns tror imidlertid initiativet vil være en positiv forsterkning for redelige forskere, ikke et skalkeskjul for late folk:
– Vi foreslår på ingen måte at kommersielle selskaper tar over ansvaret for forskning. Systemet vårt er et såkalt opt in-system, altså et system der du aktivt må velge å bli med. Vi tror at det vil tiltrekke seg de forskerne som har gjort en grundig jobb i utgangspunktet.
Iorns forventer at reproduseringsraten vil være mye høyere for forskning som testes gjennom The Reproducibility Initiative enn den som rapporteres i forskningsverden som helhet, nettopp fordi forskerne som sender inn sannsynligvis allerede er opptatt av at forskningen skal være etterprøvbar.
For forskningsråd, investorer eller kolleger vil et godkjenningsstempel fra The Reproducibility Initiative være en måte å finne frem til de virkelig gode samarbeidspartnerne, tror Iorns.
– En slik ”velge seg inn”-prosess vil kunne fungere som et filter for å finne frem til studier som er virkelig gode, og vi tror initiativet vil være en måte å belønne gode forskere, heller enn å straffe de dårlige, sier hun.
C.G. Begley og L.M. Ellis (2012) Drug development: Raise standards for preclinical cancer research. Nature Comment, vol. 483, side 531–533 (les sammendrag)
