Dette er bekymringsfullt, mener Sir Iain Chalmers, grunnleggeren av Cochrane Collaboration. Han kikker på resultatene av forskning.nos spørreundersøkelse sammen med Claire Glenton fra Cochrane i Norge. (Foto: Erik Norrud)
– Større problem enn forskningsjuks
forskning.nos undersøkelse viser at mange norske forskere har unnlatt å publisere resultatene sine fordi noen ikke likte svarene.
Hvorfor finnes det forskningsresultater vi aldri får høre om? Hvilke konsekvenser får det? Hva kan vi gjøre med det?
I en serie artikler ser forskning.no nærmere på manglende publisering av forskning.
Vi har gjort en spørreundersøkelse blant norske forskere. Vi har intervjuet forskere som har latt være å publisere, sentrale aktører som jobber med problemstillingen, og pasienter som har blitt skadet i forskningsprosjekter.
forskning.no sendte ut en spørreundersøkelse til alle de 490 professorene innen klinisk medisin ved universitetene i Oslo, Bergen og Tromsø.
Vi fikk 177 svar.
Dette er ikke en vitenskapelig undersøkelse. Vi vet ikke om svarene til denne gruppa er representative for professorene vi spurte, eller for andre forskere. Vi mener likevel at undersøkelsen gir innblikk i et stort problem i norsk akademia.
Grunner for å ikke publisere som kan gi et skjevt bilde av virkeligheten:
Forskerne finner ingen sammenheng. Tenk deg at en forsker testet ut 15 nye stoffer som kunne tenke seg å ha bakteriedrepende egenskaper. Men ingen av dem hadde noen virkning, og resultatene anses som upubliserbare. Likevel er det verdifull kunnskap i disse resultatene: Andre forskere trenger for eksempel ikke bruke ressurser på å sjekke ut de samme stoffene igjen.
Resultatet bekrefter ikke hypotesen. Se for deg en forsker som har en ide om at fedmepasienter lettere vil beholde gode livsstilsendringer dersom helsepersonell følger dem opp ukentlig på sms. Forskeren undersøker saken. Men så viser resultatet at smsene ikke hadde noe å si, verken for vekt, livsstilsendring eller generell tilfredshet hos pasientene. Dataene blir liggende i skuffen. Men de burde vært tilgjengelige for et annet sykehus, som bruker ressurser på et lignende oppfølgingsopplegg via sms.
Resultatene er uønskede. Et legemiddelfirma finner ut at medikamentet deres ikke har så god effekt som man har trodd. Eller et forskerteam får resultater som undergraver en ide som de har knyttet mye av sin prestisje til. Det finnes flere eksempler fra historien hvor industrien har unnlatt å offentliggjøre data som setter legemidlet deres i et dårlig lys. I noen av tilfellene har tusenvis av mennesker dødd.
Internasjonale studier viser at det foregår i stor skala: Når resultatene ikke viser det forskerne eller oppdragsgiverne ønsker, lar mange være å offentliggjøre dem.
- Dette er et mye større problem enn forskningsjuks, sier Sir Iain Chalmers, grunnlegger av forskningsorganisasjonen Cochrane Collaboration, som har jobbet med disse problemene i over 30 år.
Holder norske forskere også på slik?
Vi sendte ut en spørreundersøkelse til medisinprofessorer ved tre norske universiteter. Svarene deres er urovekkende.
Over 50 av professorene innrømmer at de har latt være å publisere resultater av årsaker som er forskningsetisk uakseptable.
– Uredelig
For når forskere velger vekk noen typer forskningsresultater, kan vi ikke lenger stole på forskningen. Som når forskere unnlater å offentliggjøre forsøk som viser at en medisin har liten virkning eller stygge bivirkninger.
Da får vi en skjev framstilling av kunnskapen vi har om dette legemidlet, og pasienter kan få dårlig eller farlig behandling.
– Dette er vitenskapelig uredelighet. Mennesker har dødd på grunn av manglende publisering av forskningsresultater, sier Chalmers til forskning.no.
Atle Fretheim, leder for Seksjon for global helse ved Nasjonalt kunnskapssenter for helsetjenesten, mener også resultatene er urovekkende.
– Det er bekymringsfullt at så mange ser ut til å ha bidratt til skjevheter i kunnskapen vår, sier han.
– Dette er grunner til ikke å publisere som er etisk uakseptable. Det er faktisk så uakseptabelt at jeg synes det er positivt at forskerne innrømmer dem.
– Tallene fra forskning.nos undersøkelse bør bli utgangspunkt for debatt i forskningsmiljøene, sier Fretheim.
Når selve resultatene er problemet
Mange forskere opplever i løpet av karrieren å ikke publisere resultatene sine. Det er det mange grunner til, som for lite tid eller personlige årsaker. Dette er bekymringsfullt, men det er likevel noen årsaker til manglende publisering som er enda mer alvorlige.
For det er når selve resultatene blir grunnen til at dataene aldri offentliggjøres, det virkelig er fare på ferde. For da blir en viss type informasjon systematisk silt vekk fra den samlede kunnskapen vår. Kunnskapen som skal hjelpe oss å finne riktig behandling for sykdom eller sette effektive samfunnstiltak ut i livet.
Et klassisk eksempel er forskning på et legemiddel: Noen studier viser at det virker, andre viser at det ikke virker. Men nesten ingen av de negative studiene blir publisert. Bare de positive vises fram. Dermed ser det ut som om medikamentet er mye mer effektivt enn det er i virkeligheten.
Annonse
Det er gjort mange undersøkelser som viser at avkreftende forskningsresultater forsvinner.
En stor internasjonal studie fra 2008 konkluderer: Når resultatene viser at noe virker, er sannsynligheten mye større for at dataene blir publisert.
Men det finnes lite kunnskap om hvor vanlig dette er i Norge.
forskning.no ville finne ut om norske forskere også hadde opplevd dette. Da vi begynte å snakke med professorer her i landet, innrømmet flere at de selv hadde unnlatt å publisere resultatene sine.
Derfor gjennomførte vi en spørreundersøkelse for å få et bedre inntrykk av hvor utbredt det er.
Gidder ikke å publisere
Vi sendte ut undersøkelsen til 490 professorer i klinisk medisin ved tre norske universiteter.
Av de 177 professorene som svarte, krysset 130 av for at de en eller flere ganger hadde latt være å publisere studier. Mer enn 50 av dem oppga årsaker som kan føre til systematiske skjevheter i kunnskapen, og som blir vurdert som forskningsetisk uakseptable.
130 av 177 professorer oppga at de en eller flere ganger hadde unnlatt å publisere forskningsresultater. Disse kunne krysse av for en rekke ulike grunner for den manglende publiseringen. Det var mulig å velge flere årsaker. Figuren viser de mer enn 50 professorene som krysset av for årsaker som kan lede til systematiske skjevheter i kunnskapen. (Foto: (ill.: Nils K. Reppen, nyhetsgrafikk.no))
46 oppga som årsak til en av gangene de ikke hadde publisert, at det skyldtes at resultatene ikke viste noen sammenhenger. De fant altså ikke noe som virket.
«Jeg prøver å publisere alt, men jeg merker at drivkraften ofte dabber av når man ikke finner signifikante forskjeller», skriver en av professorene i undersøkelsen.
Annonse
32 oppga som årsak til en eller flere av gangene de ikke publiserte at det var fordi resultatene ikke stemte med egne forventninger. De trodde kanskje at et medikament skulle hjelpe pasientene, men fikk ikke noe bekreftende svar.
Flere forskere som forskning.no har snakket med forteller at de lett mister interessen når resultatene er skuffende. Det er fristende å bruke ressursene på mer lovende prosjekter, selv om idealet er at også negative resultater skal publiseres.
Steinar Madsen, medisinsk fagdirektør i Legemiddelverket, har selv opplevd dette.
– Om det er en undersøkelse som slår ut i null, tenker vi ofte at det viser ingenting. Da mister man lysten til å skrive en artikkel, sier han til forskning.no.
Likevel mener han at det kan være viktig at også slike resultater blir tilgjengelige for andre forskere.
– Manglende funn som publiseres kan blant annet være viktig for å hindre at andre forskere kaster bort tiden på å gjøre samme type forsøk.
Vil skjule resultatene
Det mest alvorlige i forskning.nos undersøkelse er at 14 deltagere svarte at resultatene ikke ble offentliggjort fordi de var uønskede. Dette betyr at noen faktisk ønsket å holde informasjonen fra studien skjult.
I noen tilfeller var det forskeren selv som ville det, i andre tilfeller var det kollegaer, oppdragsgivere eller kommersielle samarbeidspartnere.
Forskerne kan ha økonomiske motiver, eller de ønsker ikke å publisere resultater som strider mot deres overbevisning.
En av professorene skriver: «Det var motstand hos en av medarbeiderne på grunn av ikke-positive resultater som ville kunne svekke interessen for metodene som han var ansvarlig for.»
Kollegaen ville altså ikke offentliggjøre resultater som stilte metoden hans i et dårlig lys.
Annonse
En annen skriver: «Produsenter av medikamenter eller utstyr prøvde å blokkere for funn som ikke tjente deres sak.»
En av forskerne forskning.no har snakket med forklarer det slik:
– Jeg hadde gjort en undersøkelse av et nytt medikament, men svarene var skuffende. Stoffet hadde ingen virkning.
– I tillegg var personen som hadde utviklet det nye legemidlet en bekjent. Han ville helst ikke at jeg skulle publisere resultatene, og jeg hadde ikke lyst til å ta alt arbeidet med å skrive en artikkel og forsøke å få den inn i et vitenskapelig tidsskrift, sier professoren.
Resultatene havnet dermed i en skuff.
Claire Glenton, direktør ved den norske grenen av Nordic Cochrane Centre er overrasket over at såpass mange i spørreundersøkelsen innrømmer at uønskede resultater er bitt holdt tilbake.
– Det er sannsynlig at folk underrapporterer denne årsaken, og likevel er den såpass høy, sier hun.
Ikke bare uredelige motiver
Det er ikke alltid like uhederlige motiver som ligger bak den manglende publiseringa.
Når du ikke får resultatene du forventer, er det naturlig å stille spørsmål om forskningen er godt nok utført. Fant du ingen sammenheng fordi den ikke finnes, eller fordi metodene du brukte for å leite var for dårlige?
Få forskere ønsker å publisere slett forskning. Men det er også mulig å bli for skeptiske til egne resultater når dataene ikke viser det samme som tidligere studier. Da ender forskerne kanskje for lett med å forkaste resultater som strider mot den rådende oppfatningen.
Forskningen har altså også sine trender, og det kan være vanskelig å komme med resultater som motsier det flertallet av forskere mener.
«Det er lettere å få publisert en artikkel som bygger opp under det som er populære “sannheter” i øyeblikket», skriver en professor.
Annonse
Prioriterer det positive
Atle Fretheim. (Foto: Kunnskapssenteret)
Ofte er det vanskelig å få negative eller kjedelige resultater publisert i de prestisjetunge forskningstidsskriftene. Forskerne må ta til takke med liten oppmerksomhet og en plass i et ubetydelig tidsskrift.
Da kan det være mer fristende å la resultatene ligge og heller bruke ressursene på mer lovende prosjekter.
Eller som en av professorene i spørreundersøkelsen uttrykker det:
«Det største problemet er at negative funn som kan avkrefte tidligere positive funn, er svært vanskelige å publisere. Noen ganger er det ikke mulig å legge inn tilstrekkelig innsats for en publikasjon i en svært lav-impact journal.»
Fretheim fra Kunnskapssenteret mener det er viktig å jobbe med forskernes holdninger til å publisere de uønskede resultatene, selv om problemet aldri blir helt borte.
– Jeg tror ikke på noen nullvisjon. Men vi må sørge for at resultatene forsvinner så sjeldent som mulig. Da er forskernes egne holdninger svært viktige, sier han.
