Resultatet skapte oppsiktsvekkende overskrifter i fjor: Over halvparten av forskningsfunnene innen psykologi kan ikke bekreftes av andre forskere.

Dersom det stemmer, er det alvorlig fordi det svekker troverdigheten til studiene.

Leserne av tidsskriftet Science kåret gjennomgangen av psykologistudier til et av de viktigste vitenskapelige gjennombruddene i 2015.

Nå sår kritikere alvorlig tvil om kvaliteten på gjennomgangen. Kanskje er det ikke så ille fatt i psykologiforskningen likevel.

Hyllet som gjennombrudd

Dobbeltsjekk er viktig i vitenskapen. Vi kan ikke være sikre på at forskningsfunn stemmer før resultatene kan bekreftes av andre forskere.

I fjor prøvde forskere i samarbeidet Open Science Collaboration (OSC) å gjenta 100 psykologistudier for å se om de fikk samme resultat som de opprinnelige forskerne. Nedslående nok var det bare mulig å bekrefte resultatene fra fire av ti av dem.

Mange mente funnet var viktig og avslørte en krise i psykologiforskningen.

Men det er store feil ved gjennomgangen, ifølge amerikanske forskere som har gått studien etter i sømmene.

– Det at de ikke får samme resultater skyldes feil i gjentakelsene, ikke i originalstudiene, sier forsker Gary King ved Harvard University i en pressemelding.

Avfeid som ubrukelig

Når King og kollegene regner på det, kommer de nemlig til motsatt konklusjon: Det kan se ut til at nærmere seks av ti psykologistudier får samme resultat dersom de gjør en litt annen utvelgelse av studiene og på en annen måte tar høyde for statistiske feil som kan oppstå. De mener at dette er en grei andel.

OSC har sådd tvil om psykologiforskningen på svært tynt grunnlag, hevder de.

• Les også: Skal dobbeltsjekke andres forskning

I svaret sitt innrømmer OSC at de ikke kan konkludere med at det står dårlig til med etterprøvbarheten i psykologiforskningen. Resultatene fra studien deres kan tolkes både positivt og negativt, skriver de.

Men de er sterkt uenige i mange av innvendingene, og mener kritikerne ikke har vist at funnene lar seg bekrefte.

Militærtjeneste ble til bryllupsreise

Det kan være mange grunner til at funnene ikke blir de samme i andre runde.

Som forskning.no skrev da studien til Open Science Collaboration (OSC) kom: Det kan hende at forskerne som skulle gjøre studien om igjen, kan ha gjort den litt annerledes.

Det var nettopp det som skjedde i regi av OSC, skal vi tro kritikerne. Og ikke bare litt annerledes, men svært annerledes.

En studie som spurte israelere om å vurdere konsekvensene av militærtjeneste, ble gjentatt ved å spørre amerikanere om konsekvensene av en bryllupsreise.

Og da OSC gjorde om igjen en studie som opprinnelig undersøkte amerikaneres holdninger til afroamerikanere, valgte de å gjenta den i Italia.

Denne mulige feilkilden burde de tatt mer på alvor i forskningen sin, mener King og kollegene.

Forskjellig gjennomføring

Men OSC klarte faktisk å få samme resultat i Italia. De synes kritikerne plukker ut noen av resultatene deres og bruker dem selektivt sin argumentasjon.

OSC forsvarer seg med at når du forsker på mennesker, er det umulig å gjøre studien på nøyaktig samme måte om igjen.

• Les også: Gjennombruddene som ble tilbakevist

Hvor likt må det være? OSC spurte de opprinnelige forfatterne om de syntes gjentakelsene var samvittighetsfullt designet.

Ifølge kritikerne hadde studiene som forfatterne ikke ville anbefale fire ganger så høy sjanse for å få et annet resultat enn den opprinnelige. Svaret til OSC er at det like gjerne kan skyldes at forfatterne var forsiktige med å godkjenne gjentakelser av studier dersom de var usikre på egne resultater.

Krangler om utregninger

De 100 studiene var ikke tilfeldig valgt ut, og kritikerne mener at OSC ikke kan si at de er representative for psykologiforskningen.

De to forskergruppene krangler også om hvor stor feilmargin du må regne med når du gjør studier om igjen. Noen av studiene vil kunne få et annet resultat i andre runde, selv om studiene i første runde er eksemplarisk utført. Det blir alltid litt variasjon fra gang til gang når du forsker på mennesker.

100 studier er ikke så mange. Jo flere mennesker du undersøker og jo flere ganger du gjør studiene om igjen, desto sikrere kan du være på at forskjeller i resultatene ikke skyldes tilfeldigheter. Dette må du ta høyde for statistisk.

OSC har ikke regnet på målefeilen på en god nok måte, mener kritikerne. OSC mener derimot at de har det.

– Begge har litt rett

Assisterende forskningssjef Anders Løland ved Norsk Regnesentral tror sannheten ligger et sted midt imellom. Han har sett på argumentasjonen i de to leirene.

– Det er flere måter å regne på. Denne diskusjonen illustrerer hvor vanskelig det er å reprodusere studier. Det er så mange feilkilder. Begge parter har gode poenger, her er det ikke noe endelig svar på hvem som har rett, sier han til forskning.no.

Han er enig med kritikerne i at en del av forsøkene er gjort på en altfor forskjellig måte til at de kan kalles gjentakelser.

– Det virker helt tullete å endre spørsmål og målgruppe fra gang til gang, da blir det jo et helt annet eksperiment.

– Akademisk aggressive

Samtidig er det ikke sikkert at kritikerne deres har regnet seg fram til et bedre svar. De har jo ikke selv gjort studiene om igjen, bare tatt høyde for statistiske feil på en annen måte enn det OSC har gjort.

Begge parter beskylder hverandre for unnlatelsessynder og manglende kunnskaper om statistikk. Løland synes diskusjonen forvirrer like mye som den oppklarer.

– De er veldig akademisk aggressive i tonen. De snakker litt forbi hverandre, og det hadde vært mer nyttig om de satte seg ned sammen og forsøkte å bli enige om hva de er uenige om, sier han.

Så hardt går det for seg at en av kritikerne, Daniel Gilbert ved Harvard University, føler behov for å uttrykke i pressemeldingen at han er gode venner med flere av forskerne i Open Science Collaboration. Før hans kollega Gary King smeller til:

«Hvis du bryter de grunnleggende reglene i forskningen, får du feil svar, og det er det som har skjedd her.»

Referanser:

Daniel T. Gilbert, Gary King mfl: Comment on «Estimating the reproducibility of psychological science». Science, 4. mars 2016. Sammendrag.

Christopher J. Anderson mfl: Response to Comment on «Estimating the reproducibility of psychological science». Science, 4. mars 2016. Sammendrag.

Open Science Collaboration: Estimating the reproducibility of psychological science. Science, 28. august 2015. Sammendrag.