Atferdsforskere har en større tendens til å overtolke forskningsresultatene sine enn andre vitenskapsfolk, Det mener forskerne bak en ny undersøkelse som nettopp er publisert i det vitenskapelige tidsskriftet Proceedings of the National Academy of Sciences (PNAS).

Forskerne, som kommer fra det amerikanske Stanford University og britiske University of Edinburgh, konkluderer at det særlig er amerikanske atferdsforskere som har denne tendensen.

Ifølge phys.org mener forskerne at dette skyldes at atferdsforskning og andre «myke» former for forskning har mer frihet til å velge mellom vitenskapelige metoder enn «hardere» naturvitenskapelig forskning.

På den måten kan det gi en partiskhet – altså en skjevhet – i resultatene fordi såkalte myke forskere har mer frihet til å designe eksperimentene sine slik at de bekrefter nettopp den hypotesen forskerne på forhånd hadde stilt opp.

Mer rom for tolkning

På Københavns Universitet arbeider instituttleder og utdanningsforsker Jens Dolin. Han er ikke enig i kritikken. Han medgir imidlertid at det i humanistiske og samfunnsvitenskapelige fag er større rom for fortolkning enn de rent naturvitenskapelige.

– All forskning med en samfunnsmessig eller sosial fokus er ikke fullstendig faktabasert. Ofte arbeider man med nyanser i resultatene sine, og det vil si at det er rom for fortolkning. Innenfor naturvitenskapelig forskning har forskerne typisk å gjøre med helt konkrete og mer objektive målinger.

– Disse målingene må selvfølgelig også fortolkes, men det generelt en mindre grad av subjektivitet i ren naturvitenskap, sier Dolin, som utfører atferdsforskning selv og er leder av Institut for Naturfagenes Didaktik.

Han får støtte fra filosof Henrik Jøker Bjerre fra Institut for Læring og Filosofi på Aalborg universitet.

– Man kan mene at det er mindre uklarhet i vitenskaper som fysikk og kjemi, hvor man kan utføre målinger, lage diagrammer og komme med en konklusjon med en svært liten fortolkningsmulighet. Men jo mer man beveger seg vekk fra det rent naturvitenskapelige og over mot for eksempel evolusjonær biologi, samfunnsvitenskap og humaniora, jo mer blir det rom for fortolkning, sier Bjerre.

Interessant undersøkelse

Henrik Jøker Bjerre mener at den nye undersøkelsen reiser en rekke interessante spørsmål om hvordan forskningsverdenen fungerer.

– Grunnen til at undersøkelsen er interessant, er at den påviser en uheldig tendens i fortolkningen av forskningsresultater. Særlig i USA er det åpenbart en tendens til å publisere forskning som litt for klart viser bestemte resultater, sier han.

– Det fortolker undersøkelsens forfattere som om at det i USA er for stort et press på forskerne for å få publisert artikler i vitenskapelige tidsskrifter.

– Forskerne blir nærmest presset til å publisere, og derfor tar de kanskje litt mindre forbehold og er litt mer tilbøyelige til å skrive en artikkel som bare skal publiseres, mer enn å være grundige og skrive en artikkel som faktisk bringer noe nytt.

Produksjon mer enn sannhetssøken

Logikken er altså at presset kan få forskerne til å trekke litt for skarpe konklusjoner fordi de vil ha resultatene sine publisert. Dette presset er også kjent i Danmark, påpeker Bjerre.

– Det kjenner vi fra hele universitetsverdenen, og mange er bekymret over at det kan gå ut over sannhetsverdien av artiklene. Man kan si at vitenskapen er blitt en slags produksjon mer enn en sannhetssøken. Og det tror jeg gjelder for både naturvitenskap, samfunnsvitenskap og humaniora, sier han.

Siden 2009 er en del av pengene til landets universiteter blitt fordelt etter hvor mange vitenskapelige artikler universitetene produserer.

Systemet kalles Den bibliometriske forskningsindikatoren, og på hjemmesiden for Ministeriet for Forskning, Innovasjon og Videregående Utdannelser kan man blant annet lese at systemet skal «være med på å motivere forskere innenfor alle områder til å publisere i de mest anerkjente og mest prestisjefylte utgivelseskanalene.»

Problem å måle forskere på produksjon

Samtidig skriver departement at «den bibliometriske forskningsindikatoren belønner de forskningspublikasjonene som publiseres i de mest anerkjente kanalene innenfor faget. Det vil si at den skal tilgodese alle fagområder og deres forskjellige publiseringstradisjoner.»

Henrik Jøker Bjerre mener imidlertid at dette kan være problematisk. Han kjøper heller ikke premisset i den nye undersøkelsen, nemlig at en større frihet til å velge vitenskapelig metode betyr en økt tendens til å overfortolke resultater.

– Hvis man sier at humaniora og samfunnsvitenskap er litt friere i valget av metode, så har man i prinsippet allerede sagt at det er ulik metodeforståelse, og at naturvitenskapene har de beste metodene. Det er en rekke disipliner som ikke vil akseptere det premisset. Men av økonomiske grunner blir de mer og mer tvunget til det, sier Bjerre.

Finaniseringen kan farge resultater

Økonomien kan i visse tilfeller spille en rolle for forskeres resultater og fortolkninger, hvis undersøkelsen er betalt av bedrifter eller organisasjoner med interesser for et bestemt resultat, forteller Jens Dolin fra Københavns Universitet.

– Det klassiske eksemplet er innenfor tobakksforskning, hvor en forsker kan nå fram til at tobakk ikke er skadelig. Hvis man ser at undersøkelsen er betalt av tobakksindustrien, er det nok snakk om et lettere farget resultat, sier Dolin.

Han legger til at selv om mykere former for vitenskap gir forskerne mer rom til fortolkning, så mener han ikke at disse forskere har noen større tendens til å farge resultatene sine i en bestemt retning.

– Samfunnsvitenskapelig og humanistisk forskning har selvfølgelig en videre tolkningsramme. Men jeg er ikke enig i at det betyr at den typen forskning har større tendens til å overfortolke. Som forsker er man selvfølgelig interessert i å finne sannheten, sier Dolin.

– Men det er opplagt å se på hvem som har finansiert en studie hvis man har mistanke om at det kan være fargede resultater. Forskere er ikke roboter, så selv om det kanskje ikke er bevisst, så kan finansieringen godt prege resultater og konklusjoner.

Medier og politikere vrir resultater

Jens Dolin påpeker imidlertid at atferdsforskning og annen samfunnsrelatert forskning ofte blir vridd av medier og politikere. Dermed kan overdrivelser og overfortolkning oppstå når medier og politikere videreformidler forskningsresultater, sier han.

– Forskning innenfor utdannelse og atferd er noe alle har en forståelse av og en mening om. Så kan det være fristende å komme med en spissformulering hvis man som forsker blir ringt opp av en journalist. Men på instituttet vårt er vi nøye med å understreke forbehold og begrensninger i undersøkelsene våre. Vi vil heller risikere at vi ikke blir sitert, sier Dolin.

Han har ofte vært i mediene selv i forbindelse med forskningen knyttet til de såkalte PISA-undersøkelsene, som tar for seg ferdighetene til grunnskoleelevene.

Amerikanere overdriver ikke mer enn andre

Verken Jens Dolin eller Henrik Jøker Bjerre kjenner seg igjen i påstandene om at amerikanske atferdsforskere har større tendens til å overdrive enn andre.

– Det kunne selvfølgelig være fristende å si ja, men man skal ikke la fordommene ta overhånd. I dag er mye forskning finansiert av private fond og bedrifter, og det kan være et ønske om å tolke og prege en undersøkelse i en bestemt retning.

– Men på mitt felt, som er utdannelse, har jeg ikke sett noen større tendens til å overfortolke i USA. Når forskningen havner i internasjonale tidsskrifter, er det jo de samme bedømmelseskriteriene forskerne er underlagt, uansett hvor de kommer fra, sier Dolin.

Overfortolker ikke mer enn andre

På Psykologisk Institut på Aarhus universitet driver man også med atferdsforskning, men instituttleder Henrik Høgh-Olesen er heller ikke enig i kritikken av amerikanske forskere. 

– Alt er stort i USA, og folk vil gjerne skape oppmerksomhet rundt forskningsresultatene sine. Det er vanskelig å bli publisert i store internasjonale tidsskrifter, men om det påvirker amerikanernes måte å skrive artikler på, det aner jeg ikke. Det har jeg i hvert fall ikke lagt merke til, sier Høgh-Olesen.

Han tror ikke atferdsforskere generelt overfortolker mer enn andre vitenskapsfolk.

– Det er mulig at det finnes en slik tendens, men hvordan skal man dokumentere det på en objektiv måte? Det er i hvert fall ikke mitt inntrykket at det finnes noen slik tendens, sier Høgh-Olesen.

Referanse:

Daniele Fanelli m.fl. US studies may overestimate effect sizes in softer research, PNAS, 14.02.13, DOI: 10.1073/pnas.1302997110 Sammendrag

___________________

© Videnskab.dk. Oversatt av Lars Nygaard for forskning.no.