Bedre med åpenhet

Fagfellene som vurderer andres forskning er oftest anonyme. Nå mener amerikanske forskere at mer åpenhet kan gjøre fagfellevurderinga bedre.
9.1 2012 05:00


 

Fagfellevurdering er en uunnværlig del av moderne vitenskap.

Denne kvalitetssikringsprosessen går ut på at andre forskere fra samme fagfelt vurderer om kvaliteten på en forskningsrapport er god nok til at den kan publiseres i et vitenskapelig tidsskrift.

Både fagfellevurdering og publisering er igjen av stor betydning for om forskerne får flere midler.

Men hvor godt fungerer dette systemet?

Utrolig nok er det gjort lite forskning på fagfellevurdering. Systemet har også i senere år måttet tåle kritikk. Og nylig testet forskere fra Johns Hopkins Bloomberg School of Public Health hvordan mer åpenhet kan påvirke prosessene.

Konklusjonen utfordrer dagens system med anonyme bedømmere. Når det er kjent hvem som vurderer forskningen, blir samarbeidet mellom forskere og bedømmere ofte bedre, og dette reduserer risikoen for feil, mener teamet.

Spill for forskere

I utgangspunktet er bedømmerne av forskningsrapportene anonyme for at ingen skal kunne presse eller bestikke dem. Og for at de ulike bedømmerne av en rapport ikke skal kunne avtale utkommet seg imellom.

Jeffrey Leek og kollegaene hans har utviklet en teoretisk modell og et spill for å teste nettopp hvordan ulike systemer påvirket forskernes og bedømmernes oppførsel.

Spillet var en etterligning av forsknings- og fagfellevurderingsprosessen, der deltagerne enten kunne velge å foreslå løsninger på problemer eller melde seg til å bedømme andres forslag.

I tillegg kunne spillerne også bli pålagt å være bedømmere for noen av forslagene. På slutten av omgangen fikk de to deltagerne med flest aksepterte løsningsforslag en belønning.

For at forsøket skulle ligne mest mulig på virkeligheten, var det studenter og forskere ved seks ulike forskningslaboratorier ved Johns Hopkins University som fikk i oppgave å spille.

Åpen og lukket

Spillet kunne kjøres i både en åpen og en lukket versjon. I sistnevnte var bedømmerne anonyme. Den eneste informasjonen som var tilgjengelig, var hvor mange forslag deltagerne hadde fått akseptert tidligere.

I de åpne omgangene visste spillerne hvilke bedømmere som hadde godtatt og forkastet alle forslagene deres.

Og nå konkluderer altså Leek og kollegaene med at et åpent system kan gi flere riktige bedømmelser.

Det viste seg at spillerne som valgte å vurdere andres forslag ble belønnet for dette. Sannsynligheten for at deres egne forslag skulle godtas økte litt for hver gang de aksepterte løsningen til en annen deltager.

Dermed skulle man kanskje tro at dette førte til at flere gale forslag ble godtatt. Men effekten var heller stikk motsatt, mener Leek.

Det kommer av at åpenheten oftere førte til samarbeid mellom forskerne som kom med forslag og de som bedømte dem.

- Vi fant ut at spillere som befant seg i samarbeidende par hadde høyere presisjon på bedømmelsene enn spillere som ikke samarbeidet i par, skriver Leek i en e-post til forskning.no.

- Våre resultater antyder at samarbeid i fagfellevurderingsprosessen kan føre til en redusert risiko for feilbedømming.

Referanse:

J. T. Leek, M. A. Taub, F. J. Pineda, Cooperation between Referees and Authors Increases Peer Review Accuracy, PLoS One, 9. november 2011.

forskning.no ønsker en åpen og saklig debatt. Vi forbeholder oss retten til å fjerne innlegg. Du må bruke ditt fulle navn. Vis regler

Regler for leserkommentarer på forskning.no:

  1. Diskuter sak, ikke person. Det er ikke tillatt å trakassere navngitte personer eller andre debattanter.
  2. Rasistiske og andre diskriminerende innlegg vil bli fjernet.
  3. Vi anbefaler at du skriver kort.
  4. forskning.no har redaktøraransvar for alt som publiseres, men den enkelte kommentator er også personlig ansvarlig for innholdet i innlegget.
  5. Publisering av opphavsrettsbeskyttet materiale er ikke tillatt. Du kan sitere korte utdrag av andre tekster eller artikler, men husk kildehenvisning.
  6. Alle innlegg blir kontrollert etter at de er lagt inn.
  7. Du kan selv melde inn innlegg som du mener er upassende.
  8. Du må bruke fullt navn. Anonyme innlegg vil bli slettet.

Annonse