Usikkert om siteringer

Forskerne bak siteringsstatistikken i Forskningsbarometeret mener Norge er inne i en dårlig trend, men bildet er ikke entydig negativt.

Publisert

Siteres norsk forskning mer eller mindre?

Om dét spørsmålet strides de lærde, etter at Kunnskapsdepartementet la frem Forskningsbarometeret for 2012 i forrige måned. Forskningsbarometeret skal ta temperaturen på norsk forskning, og analyserer blant annet innovasjon, siteringer og publiseringshyppighet.

Så hva er egentlig sannheten bak tallene?

forskning.no tok kontakt med Dag W. Aksnes og Gunnar Sivertsen, som har utarbeidet statistikken bak Forskningsbarometeret. Aksnes og Sivertsen arbeider ved Nordisk institutt for studier av innovasjon, forskning og utdanning (NIFU).

De mener bildet verken er så svart som biolog Dag O. Hessen vil ha det til – eller så rosenrødt som forskningsdirektør Arvid Halléns versjon tilsier.

– Norge tilhører en gruppe nordeuropeiske land med høyere siteringsindeks enn gjennomsnittet for EU og for verden. Men Norge har ikke samme positive utvikling som de andre. Det er en interessant observasjon, skriver de i en felles e-post til forskning.no.

– Det er betimelig å spørre, som Hessen gjør, om tellekantsystemet skaper lavere forskningskvalitet. Men analysen må gjøres ordentlig.

Opp eller ned avhenger av periode

Striden står i hovedsak om tolkningen av denne grafen:

Siteringsindeksen i Forskningsbarometeret viser at andelen siteringer per artikkel har gått svakt opp dersom du ser på perioden 2001-2009, men synker svakt dersom du begrenser utvalget til perioden 2005-2009. (Foto: (Bilde: skjermdump fra Forskningsbarometeret))
Siteringsindeksen i Forskningsbarometeret viser at andelen siteringer per artikkel har gått svakt opp dersom du ser på perioden 2001-2009, men synker svakt dersom du begrenser utvalget til perioden 2005-2009. (Foto: (Bilde: skjermdump fra Forskningsbarometeret))

Den viser at andelen siteringer per artikkel har gått opp dersom du ser på perioden 2001-2009, men synker igjen dersom du begrenser utvalget til perioden 2005-2009.

Fra 2003 ble det innført resultatbaserte finansieringssystemer i norsk forskning, der forskningsinstitusjonene får bevilgninger ut ifra blant annet publiseringspoeng – altså hvor mange artikler forskerne har publisert.

Alternative forklaringer

I rapporten som NIFU selv har skrevet om forskningsstatistikken, skriver forskerne følgende om den norske siteringsindeksen:

Norge har hatt en nedgang i siteringsindeksen siste 3-årsperiode på 1,8 poeng og bryter med dette trenden gjennom mange år med en økende siteringsindeks. Selv om reduksjonen er marginal, skjer den samtidig med at de fleste andre land det er naturlig å sammenligne Norge med har en til dels markant økning i siteringsindeksen.

Dermed er vi ikke inne i noen spesielt god periode i norsk forskning. Men trenden skal heller ikke tolkes for vidt, mener forskerne:

Gunnar Sivertsen (t.v.) og Dag W. Aksnes (Foto: NIFU)
Gunnar Sivertsen (t.v.) og Dag W. Aksnes (Foto: NIFU)

– Man kan ikke konkludere enkelt med at dette er et uttrykk for synkende kvalitet, og at det har sammenheng med et publiseringsinsentiv i Norge, skriver Aksnes og Sivertsen til forskning.no.

De peker på tre mulige forklaringer på at antallet siteringer går motsatt av trenden i resten av Europa:

– For det første kan kanskje forvente nedgang i siteringshyppighet når det publiseres mange nye artikler fra mange nye, unge forskere. For det andre regnes ikke siteringer som et uttrykk for kvalitet, men som et uttrykk for gjennomslagskraft, skriver de.

– For det tredje viser våre data, som også er delt opp på fagnivå, at nedgangen i relativ siteringshyppighet berører visse fag, for eksempel medisin, men ikke andre. Det er altså ikke et generelt fenomen at siteringsindeksen går ned. Altså må sammenhengene være mer komplekse.

– Oppgang på lengre sikt

Det såkalte tellekantsystemet, altså systemet der publiseringer er nøkkelen til pengekassa, skal i løpet av året evalueres av Universitets- og høgskolerådet. Aksnes og Sivertsen mener forskjellige perspektiver kan gi et annet bilde:

– Man må for eksempel ha et institusjonelt perspektiv, ikke bare et individuelt perspektiv, på forskningen og dens rammebetingelser, sier forskerne.

Aksnes og Sivertsen skriver at da de evaluerte Norge som kunnskapsnasjon for ti år siden, hadde vi klart færre siteringer enn både Danmark og Sverige, og Norge lå under verdensgjennomsnittet.

– I et lengre perspektiv er altså den mest markante endringen en økning, og ikke en nedgang, i siteringsindeksen, skriver de.

Betydelig mer norsk toppforskning

"Norsk medisinsk forskning siteres mindre og mindre. Det er én forklaring på nedgangen i NIFU-statistikken. (Foto: Istockphoto)"
"Norsk medisinsk forskning siteres mindre og mindre. Det er én forklaring på nedgangen i NIFU-statistikken. (Foto: Istockphoto)"

I sitt innlegg på Litteraturfestivalen på Lillehammer snakket Dag Hessen om en trend der norske forskere deler opp resultatene sine i stadig mindre enheter, for å få flest mulig publiseringer – og dermed publiseringspoeng – ut av hver studie. Dette kalles ”least publishable unit”.

Aksnes og Sivertsen mener statistikken viser minst ett tydelig tegn på at den hypotesen ikke holder vann:

– Veksten i antall publiseringer på nivå to, altså i de mest prestisjetunge tidskriftene, har vært på 87 prosent mellom 2005 og 2011. Det betyr at norske forskere er 87 prosent bedre representert i de mest prestisjetunge internasjonale tidsskrifter enn de var for bare syv år siden.

– Det er en utfordring til Hessens hypotese om at norske forskere nå bare går etter ”least publishable unit”-publisering.

Les mer:

Kunnskapsdepartementet: Forskningsbarometer 2012

Norges forskningsråd: Indikatorrapporten 2011 (rapport utarbeidet av NIFU, bakgrunnsmaterialet for Forskningsbarometeret)

Forskningsetiske komiteer har gitt ut boken Forskning og penger, der Hessen skriver om forskningens vilkår i Norge