- Siteringer er ikke et mål på kvalitet

Sitering av andre studier i egen forskning kan være både lite overveid og negativ omtale - derfor kan ikke antall siteringer brukes som et kvalitetsmål, konkluderer en svensk doktoravhandling.

Publisert
 (Foto: iStockphoto)
(Foto: iStockphoto)

Forskere siterer hverandres forskning i vitenskapelige artikler. Siteringer blir talt opp, og brukt som en indikator på hvor stor innflytelse forskningen har. Jo flere siteringer, jo større gjennomslagskraft blir forskningen vurdert til å ha.

I Sverige brukes siteringer som en del av det såkalte tellekantsystemet, et system som vi også har i Norge, med tellbare mål på forskning. Antall siteringer en forsker får, er i Sverige med i vurderingen når universitetsbevilgninger skal fordeles.

Før eller siden vil også norske politikere eller myndigheter spørre om det er mulig å måle kvalitet ved å telle siteringer, mener Gunnar Sivertsen som forsker på vitenskapelig publisering, ved NIFU.

- Den siste Forskningsmeldingen etterlyser forskningskvalitet, den avtroppende statsråden har etterlyst det samme offentlig, og nå arbeider et eget utvalg med spørsmålet om finansieringssystemet for universiteter og høgskoler fremmer kvalitet, sier han.

Men det finnes en del innvendinger mot å bruke antall siteringer som et mål på kvalitet. De siste kommer fram i en ny, svensk doktoravhandling som har undersøkt siteringskultur blant forskere.

”Slendrianmessig”

En av grunnene til at forskeren Gustaf Nelhans konkluderer med at siteringshyppighet ikke er noe godt kvalitetsmål, er at årsakene til at en forsker siterer en bestemt studie, kan være mange.

Noen ganger er ikke siteringen spesielt veloverveid, ifølge Nelhans. Siteringer kan bli gjort nærmest av vane, fordi enkelte studier blir såkalte stående referanser, som ”alle” siterer.

Avhandlingen går langt i å si at noen siteringer rett og slett er slendrianmessige, ifølge en pressemelding fra Gøteborgs Universitet, der Nelhans har avlagt doktorgraden i vitenskapsteori.

Dessuten skjer det at en forsker siterer en annen for å trekke vedkommendes konklusjoner i tvil, eller for å argumentere imot dem.

Poenget er at man ikke alltid vet hvorfor siteringene er gjort, og at de derfor ikke er noe direkte kvalitetsmål, mener den svenske forskeren.

Gjennomslag, ikke kvalitet

Gunnar Sivertsen er helt enig i at siteringshyppighet ikke kan brukes som et direkte mål på kvalitet i forskningen. De som forsker på dette på et internasjonalt nivå, er enige om dette, ifølge ham.

Han kjenner seg imidlertid ikke helt igjen i beskrivelsene Gustaf Nelhans gir av siteringspraksis blant forskere.

- Innenfor naturvitenskapen, der man måler siteringshyppighet mest, er det ikke så ofte negative siteringer, altså at man argumenterer mot forskningen man siterer.

- Men det med vanesitering har nok noe for seg – at man kanskje gjentar referanser som andre forskere før har brukt. Vi kjenner godt til at det er en snøballeffekt; hvis du først blir mye sitert, så øker det gjerne på. Men det er fortsatt slik at de fleste forskere er omhyggelige med å velge ut referanser fra det de leser, sier han.

- Man kan si at det nok er noen rare mekanismer for hvordan siteringspraksis foregår, men det er fortsatt et holdbart mål på gjennomslagskraft.

Rapporterer om siteringer

Nordisk institutt for studier av innovasjon, forskning og utdanning (NIFU), der Sivertsen er forsker, gir årlig ut en rapport med blant annet statistikk på hvor mye norsk forskning sitereres. Dette begrunnes med at tallene er indikatorer på forskningens innflytelse.

NIFU-rapportene vil bidra til grunnlaget som politikerne fatter beslutninger på.  Sivertsen tror ikke at politikerne misforstår og tror det skal settes likhetstegn mellom innflytelse og kvalitet i forskningen.

- I Indikatorrapporten og andre steder sier NIFU at siteringer uttrykker «innflytelse», ikke «kvalitet». Jeg tror ikke politikerne hittil har fordelt ressurser på grunnlag av misforståelser om hva siteringer betyr.

Sverige innførte siteringshyppighet som et mål på kvalitet, i 2008.

- Derfor er problemstillingen ekstra viktig i Sverige, og den nye doktoravhandlingen bør nok ses som svar på dette, sier Sivertsen.

Belgia er det eneste landet i Europa som bruker siteringer på samme måte som i Sverige. I Sverige bestemte Regjeringen i fjor å vurdere om de skal bruke fagfellevurdering i stedet for siteringer for å vurdere kvaliteten ved universitetsforskningen.