Fagfellevurdering er en uunnværlig del av moderne vitenskap.

Denne kvalitetssikringsprosessen går ut på at andre forskere fra samme fagfelt vurderer om kvaliteten på en forskningsrapport er god nok til at den kan publiseres i et vitenskapelig tidsskrift.

Både fagfellevurdering og publisering er igjen av stor betydning for om forskerne får flere midler.

Men hvor godt fungerer dette systemet?

Utrolig nok er det gjort lite forskning på fagfellevurdering. Systemet har også i senere år måttet tåle kritikk. Og nylig testet forskere fra Johns Hopkins Bloomberg School of Public Health hvordan mer åpenhet kan påvirke prosessene.

Konklusjonen utfordrer dagens system med anonyme bedømmere. Når det er kjent hvem som vurderer forskningen, blir samarbeidet mellom forskere og bedømmere ofte bedre, og dette reduserer risikoen for feil, mener teamet.

Spill for forskere

I utgangspunktet er bedømmerne av forskningsrapportene anonyme for at ingen skal kunne presse eller bestikke dem. Og for at de ulike bedømmerne av en rapport ikke skal kunne avtale utkommet seg imellom.

Jeffrey Leek og kollegaene hans har utviklet en teoretisk modell og et spill for å teste nettopp hvordan ulike systemer påvirket forskernes og bedømmernes oppførsel.

Spillet var en etterligning av forsknings- og fagfellevurderingsprosessen, der deltagerne enten kunne velge å foreslå løsninger på problemer eller melde seg til å bedømme andres forslag.

I tillegg kunne spillerne også bli pålagt å være bedømmere for noen av forslagene. På slutten av omgangen fikk de to deltagerne med flest aksepterte løsningsforslag en belønning.

For at forsøket skulle ligne mest mulig på virkeligheten, var det studenter og forskere ved seks ulike forskningslaboratorier ved Johns Hopkins University som fikk i oppgave å spille.

Åpen og lukket

Spillet kunne kjøres i både en åpen og en lukket versjon. I sistnevnte var bedømmerne anonyme. Den eneste informasjonen som var tilgjengelig, var hvor mange forslag deltagerne hadde fått akseptert tidligere.

I de åpne omgangene visste spillerne hvilke bedømmere som hadde godtatt og forkastet alle forslagene deres.

Og nå konkluderer altså Leek og kollegaene med at et åpent system kan gi flere riktige bedømmelser.

Det viste seg at spillerne som valgte å vurdere andres forslag ble belønnet for dette. Sannsynligheten for at deres egne forslag skulle godtas økte litt for hver gang de aksepterte løsningen til en annen deltager.

Dermed skulle man kanskje tro at dette førte til at flere gale forslag ble godtatt. Men effekten var heller stikk motsatt, mener Leek.

Det kommer av at åpenheten oftere førte til samarbeid mellom forskerne som kom med forslag og de som bedømte dem.

- Vi fant ut at spillere som befant seg i samarbeidende par hadde høyere presisjon på bedømmelsene enn spillere som ikke samarbeidet i par, skriver Leek i en e-post til forskning.no.

- Våre resultater antyder at samarbeid i fagfellevurderingsprosessen kan føre til en redusert risiko for feilbedømming.

Referanse:

J. T. Leek, M. A. Taub, F. J. Pineda, Cooperation between Referees and Authors Increases Peer Review Accuracy, PLoS One, 9. november 2011.