En britisk lege har sett nærmere på mer enn 5000 medisinske studier publisert i åtte vitenskapelige tidsskrifter, blant annet prestisjetunge Jama og New England Journal of Medicine.

90 av studiene hadde mistenkelig statistikk.

Dette er kliniske studier, altså forskning på mennesker. Konsekvensene av feil er dermed potensielt store. Det påpeker en av redaktørene for Anaesthesia, et av tidsskriftene som er undersøkt og som også har trykket den nye gjennomgangen.

– Det er veldig skremmende at vi kanskje behandler pasienter basert på falske funn, sier redaktør Andrew Klein til avisa The Guardian.

Tilfeldig? Neppe

John Carlisle er selv en av redaktørene for Anaesthesia. Han ville sjekke datagrunnlaget til studier fra de siste 15 årene. Deltakerne i studiene var tilsynelatende tilfeldig valgte personer.

Carlisle sammenligner kjennetegn ved deltakerne med en forventet fordeling av disse kjennetegnene blant mennesker i befolkningen.

Høyde, vekt og blodtrykk bør være noenlunde likt fordelt i begge grupper om studien faktisk har et tilfeldig utvalg som ikke har blitt tuklet med. Han ser på antall deltakere i studiene og regner ut sannsynligheten for at målingene i en studie av den størrelsen skal kunne oppstå ved en tilfeldig fordeling.

Forskere som jukser, klarer ikke å etterligne de tilfeldige fordelingene av for eksempel blodtrykk i befolkningen, har metoden tidligere vist. Carlisle brukte den for å bidra til å avsløre den japanske forskeren Yoshitaka Fujii som forfalsket minst 100 studier, ifølge nyhetstjenesten til tidsskriftet Nature.

Og i 90 av de 5000 medisinske studiene som han nå har gjennomgått, er det altså noe som skurrer. I 43 studier er det så ørsmå sjanser for at fordelingen er tilfeldig at målingene umulig kan være korrekte, ifølge Carlisle. Det er bare en billiarddels sjanse.

«Det tilsvarer en dråpe vann fordelt i 20 000 olympiske svømmebasseng», skriver John Carlisle i den vitenskapelige artikkelen sin.

Ikke nødvendigvis juks

Slike usannsynlige målinger fant Carlisle oftere i studier som hadde blitt trukket tilbake fra tidsskriftene fordi de ikke var til å stole på. Men også en del studier som har blitt stående på trykk, inneholder høyst sannsynlig feil.

Carlisle minner om at dette ikke betyr at forskerne bak studiene har jukset.

Det kan være mange grunner til at målingene blir så usannsynlige. For eksempel at forskerne har slurvet når de skal føre inn tall i tabellene sine eller at de har blandet sammen statistiske mål som standardavvik og standardfeil. Ikke minst kan også Carlisle ha gjort feil i sine beregninger.

Men han mener det uansett er grunn til å titte nærmere på studiene.

Det vil flere av tidsskriftene han har undersøkt nå gjøre. New England Journal of Medicine opplyser overfor The Guardian at redaktørene tar saken veldig alvorlig og vil se på den.

Sjefredaktøren for Jama, Howard Bauchner, sier til samme avis at tidsskriftet vil undersøke påstandene før de bestemmer seg for hva de skal gjøre videre. Han mener det er viktig at forskerne bak studiene, får sjansen til å svare på anklagene.

Redaktør Andrew Klein mener flere tidsskrifter bør gjøre som Anaesthesia og undersøke grunnlaget for forskningen de publiserer.

Men få tidsskrifter, bare tre prosent innen psykologi, oppfordrer forskere til å sende inn artikler der de går andres forskning etter i sømmene.

Og selv om flere store tidsskrifter har tatt grep for å sjekke studiene grundigere for statistiske feil, mener noen at det monner lite i kampen mot fusk.

Referanse:

John B. Carlisle: Data fabrication and other reasons for non-random sampling in 5087 randomised, controlled trials in anaesthetic and general medical journals. Anaesthesia 72, 4. juni 2017. Doi: 10.1111/anae.13938.