Postpublikasjons-kritikk.

Det er ikke et veldig sexy ord, men det er en viktig mekanisme i vitenskapens verden:

Muligheten for – i tidsskriftenes egne spalter – å kommentere feil og mangler på forskning som har blitt utgitt av vitenskapelige tidsskrifter.

– Dårlig eller underrapportert vitenskap kan snike seg gjennom nåløyet hos tidsskriftene. Postpublikasjons-kritikk skaper mulighet for å utbedre dette, forteller doktorgradsstudent Theiss Bendixen.

– Hvis ikke mekanismen fungerer, kan dårlig vitenskap leve videre. Konsekvensen vil være at bedrifter, politikere eller embetsfolk baserer seg studier de ikke kan stole på. Det kan være dypt problematisk, utdyper Bendixen.

Han er en av forskerne bak en ny studie som har kartlagt praksisen for postpublikasjon i 330 av verdens mest innflytelsesrike tidsskrifter.

Forskerne har sett på de 15 tidsskriftene med flest siteringer i 22 ulike disipliner, fra medisin og fysikk til landbruk og økonomi.

Tidsskrifter legger hindringer i veien for kritikk

Situasjonen er alvorlig, konkluderer forskerne.

Mer enn en tredjedel – helt presist 123 – av tidsskriftene tilbyr ikke kanaler der andre forskere kan kommentere studier som er utgitt i tidsskriftene.

– Topp-rangerte tidsskrifter legger alvorlige hindringer i veien for postpublikasjonskritikk, konkluderer forskerne i studien, som er utgitt i tidsskriftet Royal Society Open Science.

– Når tidsskriftene ikke indikerer «her kan man sende kritikken», er det en betydelig barriere, utdyper Bendixen, som arbeider ved Institut for Kultur og Samfund ved Aarhus Universitet i Danmark.

Det strider også mot de etiske retningslinjene fra «Utvalget for Publikasjonsetikk» (COPE) som de fleste viktige tidsskrifter – 13.717 i skrivende stund – har sagt ja til å følge.

«Urovekkende» og «problematisk»

Leder i COPE, Daniel Kulp, er også «litt overrasket» over resultatet. Blant annet fordi topp-tidsskriftene ofte publiserer studie «som virkelig utfordrer grensene» for vitenskapen, som han sier til Science.

Også David Budtz Pedersen sperrer opp øynene over studiens konklusjoner:

– Postpublikasjons-kritikk er en viktig mekanisme, og det er viktig som supplement til krav om «retraction» der andre forskergrupper mener at en artikkel skal trekkes tilbake, forteller Pedersen, som er professor i vitenskapsstudier ved danske Aalborg Universitet:

– Vitenskapen har nytte av å utveksle ideer i det åpne. Så det er urovekkende at mulighetene for å artikulere faglig kritikk ikke er bedre, fortsetter han.

Theiss Bendixen mener situasjonen er «problematisk»:

– Vi vet at det blir utgitt studier som ikke er gode nok. Enten fordi data er behandlet feil eller fordi den statistiske analysen er feilaktig. Det er et grunnpremiss i forskningen.

– Når en tredjedel ikke tilbyr noen midler til å korrigere og rydde opp i økosystemet, vil konsekvensen være at dårlig vitenskap kan leve videre i vitenskapelig litteratur, sier han.

Flere tullete barrierer

Manglende kanaler for kritikk eller kommentarer er imidlertid ikke den eneste hindringen for at den kritiske debatten skal være friksjonsfri.

Mange av de 207 tidsskriftene som faktisk har en åpen kanal for kritikk og kommentarer, har for strenge krav til lengden av en kommentar. I tillegg er tidsfristen ofte stram, ifølge den nye studien.

– De fleste tidsskrifter krever at en kommentar må være mellom 100 og 1.000 ord. Dessuten må kommentaren gjerne sendes inn innen 6 måneder etter publisering, påpeker Bendixen.

– Særlig tidsfristen er tullete. Man bør rydde opp i feil selv om det først skjer etter et år eller to. Det er litt sprøtt å avvise en kommentar fordi den er innsendt en uke for sent.

Stort problem i samfunnsvitenskap og økonomi

Barrierene for postpublikasjons-kritikk varierer en del fra felt til felt.

Heldigvis fant forskerne at alle de 15 medisinske tidsskriftene i studien sin hadde en åpen og direkte kanal for kritikk og kommentarer.

– Klinisk medisin er veldig empirisk drevet, så det er enkelt å gå til og kritisere. Og det er en direkte risiko for pasientenes helse hvis mangelfull forskning ikke blir korrigert, forklarer Bendixen.

I vitenskaper som fysikk og matematikk hadde tidsskriftene de dårligste vilkårene for kritikk og kommentarer. Sannsynligvis fordi konsekvensen av feil ikke er like store og direkte. Og fordi det raskt kan ende opp i endeløse teoretiske utredninger.

Mer kritisk er det at topp-tidsskriftene for samfunnsvitenskap og økonomi har en dårlig kultur for postpublikasjon, påpeker Bendixen.

Bare 33 prosent av tidsskriftene i samfunnsvitenskap og 20 prosent av økonomi-tidsskriftene tilbød en eller annen form for postpublikasjons-mulighet.

– Her begynner det å bli mer problematisk fordi det er vitenskaper som er karakterisert av data og empiriske analyser som politikere og embetsfolk retter seg etter, forteller Bendixen.

Tre mulige årsaker

Men hvorfor lukker over en tredjedel av verdens topp-tidsskrifter øynene for postpublikasjons-mekanismen?

Forskerne lister opp en rekke mulige forklaringer:

• Først og fremst er det nok snakk om et tids- og ressursproblem.
• Og noen tidsskrifter mener det er nok at de trekker tilbake studier eller retter feil. Problemet er imidlertid at slike feil påpekes bak lukkede dører og at noen tidsskrifter ikke tydeliggjør at en artikkel er trukket tilbake eller blitt rettet.
• Til slutt – og litt mer teknisk – vedlegger flere tidsskrifter lenker til det såkalte PubPeer til studier. Her kan forskere anonymt kommentere artikler. Problemet er imidlertid at mange lesere av en studie neppe vil oppdage kommentarene på PubPeer.

Professor Charlotte Wien er kritisk til denne praksisen:

– I noen tilfeller kan det gå mot forlagenes økonomiske interesse å åpne for postpublikasjons-kritikk, mener Wien, som forsker på forskningskommunikasjon ved Syddansk Universitet:

– En av grunnene til at universitetene betaler i dyre dommer for adgang til tidsskrifter, er blant annet at de legger til rette for en fagfellevurdering av studiene. Hvis de også skal drive post review, begynner forlagenes forretningsmodell å vakle, utdyper hun.

Hva skal vi gjøre?

Forskerne som står bak den nye studien nøyer seg imidlertid ikke med å kritisere tidsskriftene. De legger også fram hele 10 forslag som kan forbedre vilkårene for postpublikasjons-kritikk hos tidsskriftene. De anbefaler blant annet å:

• fjerne den strenge tidsgrensen for når kritiske kommentarer skal sendes inn,
• tydeliggjøre hvordan kommentarer og kritikk skal sendes inn, og om kritikken blir fagfellevurdert, og hvordan den utgis,
• tidsskrifter skal offentliggjøre kvalifisert postpublikasjons-kritikk på nettet umiddelbart.

Theiss Bendixen supplerer:

– Formålet med studien er konstruktivt. Det er ikke et angrep på tidsskriftene eller det vitenskapelige samfunnet. Formålet er å skape gode vilkår for forskningen ettersom dårlig vitenskap noen ganger slipper gjennom nåløyet, påpeker han.

For Charlotte Wien er håpet enda mer radikalt. Hun mener tidsskriftene burde droppe den anonyme fagfellevurderingen og gå over til en 100 prosent preprint-modell. Det vil si utgivelser uten kritisk gransking fra andre forskere:

– Forskere burde bare laster opp en preprint når de er ferdige med artikkelen. Deretter kan det foregå en varig og gjennomsiktig dialog om artikkelen. Jeg tror på den selvkorrigerende mekanismen, sier hun.

– Det er ikke riktig at forlagene tjener godt på artiklene ved å legge til rette for en fagfellevurdering som allerede er i krise fordi det er vanskelig å finne fagfeller, legger Wien til.

Referanse:

Tom E. Hardwicke, Theiss Bendixen mfl.: Post-publication critique at top-ranked journals across scientific disciplines: a cross-sectional assessment of policies and practice. Royal Society Open Science, 2022. DOI: 10.1098/rsos.220139

© Videnskab.dk. Oversatt av Lars Nygaard for forskning.no. Les originalsaken på videnskab.dk her.