Å legge ut studier på nett før fagfellevurdering er ikke noe nytt. Men innen medisin har det bare vært gjort i rundt fem år. Med pandemien økte omfanget raskt: Fra januar til mai 2020 ble det lagt ut over 50.000 preprints om covid-19, ifølge en oversikt publisert på nettstedet github.com av bibliotekarene Nicholas Fraser og Bianca Kramer.

Varsellampene blinker. Står forskningens troverdighet i fare?

– Det er mulig at preprints skaper utfordringer for troverdigheten. Kvalitetskontrollen er begrenset, og det kan være vanskelig for lekfolk å skjønne forskjellen på en preprint og en fagfellevurdert artikkel, sier Daniel Quintana, som er forsker ved Psykologisk institutt ved Universitetet i Oslo.

• Les også i Magasinet Forskningsetikk: Fikk ikke vite at de hadde syfilis

Han mener imidlertid at fordelene veier opp for ulempene. Selv er han en ivrig bruker av preprint-plattformer: Han legger ut utkast til forskningsartikler, får tilbakemeldinger, retter opp og legger ut på nytt.

– Preprints har virkelig forbedret arbeidet og arbeidsflyten min.

D-vitamin mot covid-19

Preprint-plattformer er egne nettsteder der forskere kan legge ut arbeidene sine før de er fagfellevurdert. Noen av plattformene er knyttet til tidsskrifter, som The Lancets «Preprints with The Lancet».

Problemene oppstår når de uferdige studiene tas ut av kontekst. Det skjedde med en studie som ble publisert på Preprints with The Lancet vinteren 2021. Her ble det hevdet at å behandle covid-19-pasienter med såkalt aktivert D-vitamin (caldifediol) kunne gi 60 prosent færre dødsfall og 80 prosent færre intensivpasienter.

Den britiske parlamentspolitikeren David Davis omtalte denne studien som «very important» i en Twitter-melding. I en senere melding oppfordret han til øyeblikkelig å ta medisinen i bruk i Storbritannia. Studien ble slått stort opp internasjonalt, også i NRK.

• Les også i Magasinet Forskningsetikk: Mitt dilemma: Ville ikke la krympehoder bli selfie-objekter

Kommentarfeltet på preprint-plattformen ble imidlertid raskt fullt av kritiske spørsmål, særlig om hvorvidt dette virkelig var en randomisert studie, slik forskerne hevdet. Etter en granskning bestemte tidsskriftet seg for å fjerne artikkelen fra nettstedet og legge ut en forklaring.

Studien var også sendt inn til fagfellevurdering i The Lancet. Der ble den refusert.

Deles fortsatt

John McConnell, redaktør for tidsskrift­avdelingen Lancet Infectious Diseases, omtalte episoden på Verdenskonferansen om forskningsintegritet i juni.

– Selv om vi har fjernet studien, fortsetter den å få oppmerksomhet. Folk re-tvitrer fortsatt David Davis’ opprinnelige Twitter-melding. Fulltekstversjonen av studien har blitt sett nesten 160.000 ganger, og studien blir fortsatt nevnt i mediene, sa McConnell.

I juni hadde lenken til studien blitt tvitret eller re-tvitret nesten 26 000 ganger, la han til. Den var også blitt omtalt som «publisert i The Lancet». Men i realiteten hadde ikke tidsskriftet gjort noen kvalitetskontroll da den ble lagt ut.

– Det blir sagt at en løgn kan reise verden rundt på få timer, mens sannheten så vidt kommer seg på beina. Det tror jeg vi har sett i stort monn de siste 18 månedene, sa McConnell.

• Les også i Magasinet Forskningsetikk: Laksen er den nye forsøkskaninen

Både McConnell og Daniel Quintana framhever at fagfellevurdering heller ikke gir noen garanti.

– En dårlig fagfellevurdert studie kan skape enda større problemer for forskningens troverdighet på lang sikt, mener Quintana.

McConnell påpeker imidlertid at preprints gjør at problemet øker i omfang. Under konferansen stilte han spørsmål ved om preprint-plattformene vil overleve pandemien.

Ingen kontroll på spredningen

Ragnhild Ørstavik, assisterende sjefredaktør i Tidsskrift for Den norske legeforening, er også bekymret. Hensikten med preprints var at diskusjonen skulle foregå på preprint-plattformene, påpeker hun.

– Men i dag er mye diskusjon flyttet til sosiale medier. Da har man ikke kontroll på spredningen av forskningsresultater. I tillegg plukker media opp saker fra preprint-plattformene og slår dem opp som nyheter.

– Hvordan kan dette imøtegås?

– Jeg tror det må imøtegås før resultatene har spredd seg. Det må komme tydeligere fram at disse resultatene er mer usikre enn andre.

Hun mener at den som formidler nyheten, har ansvaret for også å formidle usikkerheten – hvis nyheten skal formidles i det hele tatt. Hun mener dessuten at vi allerede på skolen må lære om viten­skapelig metode og hvordan forskning kvalitetssikres.

– Men det er et vanskelig mål å nå, så jeg mener at ansvaret først og fremst ligger hos de journalistene og forskerne som formidler nyheten.

Ørstavik påpeker at det har vært en spesiell situasjon under pandemien. Under andre omstendigheter vil det gjerne haste mindre, og da bør man være forsiktig med å formidle foreløpige resultater, mener hun.

– I tillegg må tidsskriftene se betydningen av å være raskere i sin behandling av manuskripter.

Usikre langtidseffekter

Karin Magnusson er forsker ved Folke­helseinstituttet (FHI) og medforfatter av to preprints som har fått mye oppmerksomhet. En av dem handlet om langtidseffekter av covid-19. Ifølge denne studien, som foreløpig ikke er fagfellevurdert, er langtidseffektene mindre enn du kan få inntrykk av i media.

– Etisk sett kan det være riktigere å gå ut med foreløpige funn enn å holde kunnskapen for seg selv over lang tid, mener hun.

Langtidseffekter av covid-19 er noe beslutningstakerne trenger rask kunnskap om, ifølge Magnusson. Det har nemlig betydning for de politiske tiltakene.

Men for en tid siden ble hun kontaktet av en kollega som kommenterte at hun hadde skrevet om en preprint på Twitter. Han lurte på hva hun mente om preprints.

– Det er nok mange som er opptatt av dette, særlig den eldre garde, sier Magnusson.

Generelt mener hun at preprint-publisering bidrar til åpenhet i forskningen. Alle kan ta kontakt og gi innspill, og forskningen blir bedre, forklarer hun.

Ekstra krav til forskere

Magnusson mener også at hastverket pandemien har medført, har gjort at hun selv og kollegaene er enda grundigere tidlig i forskningsprosessen. Mange versjoner av studier har sirkulert internt på FHI for å få kritiske innspill. Både når det gjelder metode og kobling av store registerdata, som hun selv jobber med, har de brukt interne forumer hyppigere enn ellers.

– Når du skal ut med resultater i preprints, og du vet at mange er interessert, og at det kanskje vil bli medieoppslag, stiller det ekstra krav til forskere på et tidlig stadium, poengterer Magnusson.

Hun og kollegaene er dessuten hele tiden åpne om at resultatene ikke er fagfellevurdert.

For å gjøre preprint-resultatene kjent har de hovedsakelig lagt resultatene ut på FHIs nettsider. Resultatene om senvirkninger ble imidlertid først sendt til et utvalgt medium.

– Vi ønsket å bidra til at resultatene, som innebar at langtidsvirkninger etter covid-19 antakelig er begrensede, faktisk fikk publisitet. Mediene har jo en tendens til bare å skrive om studier med skremmende resultater.

Nevnes i siste setning

Det var Aftenposten som skrev om saken først, under tittelen «Norsk studie med 2 millioner personer: De fleste får ikke senvirkninger av covid-19».

– At det var snakk om en preprint, ble først nevnt i siste setning i brødteksten. Synes du at det er godt nok?

– Ja, jeg synes at det holder å skrive dette ett sted i teksten. Populærvitenskapelig formidling skal være kort og konsis. Men vi som forskere kan jo oppfordre mediene til kort å beskrive forskjellen på en preprint-artikkel og en fagfellevurdert artikkel.

Magnusson påpeker dessuten en styrke i FHIs datamateriale: FHIs resultater baserer seg på Beredskapsregisteret for covid-19, som består av opplysninger fra en rekke norske registre. Det omfatter to millioner nordmenn.

– Selv om funnene våre er foreløpige, vet vi at vi har gode data, og at vi har brukt gode metoder, og vi har et ansvar for å opplyse om det vi finner.

Ansvaret for å rette opp

Hvilket ansvar har egentlig forskerne når uriktige forskningsresultater spres i befolkningen? Bør de da gå ut og korrigere egne, eller andres, resultater?

– Hvis jeg hadde sendt inn en preprint om et medikament mot covid-19 som senere viste seg ikke å holde mål, ville jeg følt et ansvar for å formidle det, sier Ragnhild Ørstavik.

Daniel Quintana er enig. Avhengig av hvilken feil det er snakk om, bør forskeren enten rette opp og informere om feilen på preprint-plattformen eller ta ned hele studien, mener han.

– En veldig bra ting med preprints er at det er mye lettere å korrigere feil. Er studien først publisert, er det vanskeligere.

– Men hva hvis resultatene allerede er spredt i offentligheten?

– Det er vanskelig, for ting sprer seg raskt. Men du bør prøve å rette det opp. Hvis en journalist har skrevet om det, kan du ta kontakt med den personen.

Han synes også at forskerne selv bør ha en offentlig plattform, som en blogg eller en åpen konto på sosiale medier. Forsker du på et tema som gjelder unge, kan du bruke TikTok eller Instagram, foreslår han. Der kan du også informere om eventuelle feil i egen forskning.

– Ville du ha et ansvar om det gjaldt en annen forskers resultater?

– Om jeg oppdaget noe, kunne jeg meldt fra og lagt ved en lenke. Det tar ikke mye tid. Men jeg synes ikke at vi har ansvaret for å søke opp andres feil. Vi skal derimot være grundige i eget arbeid.

Internasjonale retningslinjer

ASAPbio er en forskerstyrt, ikke-kommersiell organisasjon som jobber for åpenhet og innovasjon i forskningskommunikasjonen. I 2020 gjennomførte de en spørreundersøkelse om preprints blant grupper som bibliotekarer, forskere og journalister. Ifølge resultatene var folks største bekymring muligheten for prematur mediedekning.

I ettertid har ASAPbio gjennom prosjektet Preprints in the Public Eye foreslått noen retningslinjer for kommunikasjon om preprints.

Blant annet oppfordrer de forskere til eksplisitt å påpeke at resultatene ikke har vært gjennom fagfellevurdering. De bør også prøve å presentere forskningen slik at funnene ikke kan feiltolkes, og de skal ikke overdrive funnenes betydning.

Journalistene oppfordres på sin side til å vurdere å forklare hva en preprint er, og hva fagfellevurdering innebærer. De bør lenke til preprinten, de bør ikke referere til den som «publisert», og de bør ta med informasjon om studiens begrensninger.

Usikkerhet på timeplanen

Aysa Ekanger, rådgiver ved Universitets­biblioteket ved UiT Norges arktiske universitet, synes rådene er nyttige. Hun mener at både forskere, media, tidsskrifter, forskningsinstitusjoner og skoleverket har et ansvar.

– Forskningsinstitusjoner bør formidle metoder for framstilling av usikkerhet i forskningen til studenter og ansatte. Ungdomsskoler og videregående skoler bør informere om konseptet vitenskapelig usikkerhet. Det er viktig at alle forstår hva dette er, og at forskeres usikkerhet om enkelte ting ikke betyr at all forskning er feil, mener Ekanger.

Ragnhild Ørstavik tror at den videre utviklingen kan gå i flere mulige retninger.

– Hvis flere uriktige resultater spres, kan det selvsagt svekke tilliten til forskningen, sier hun.

Men hun kan også se for seg det motsatte: en mer åpen forskningsprosess, konstruktiv kritikk som tas til følge, og tydelig merking eller fjerning av resultater som ikke holder mål.

– Dette kan skape større forståelse for den vitenskapelige prosessen og den lange og ofte tunge veien fram til det vi kan betegne som sikkert og sant. Det kommer helt an på utviklingen fremover, sier Ørstavik.

Denne saken ble først publisert i Magasinet Forskningsetikk. Les originalartikkelen her.