Mangelfulle rangeringer

Bibliometriske indikatorer kan gi større innsikt enn kåringer basert på til dels overfladisk bruk av statistikk.

Denne artikkelen er over ti år gammel og kan inneholde utdatert informasjon.

Universitetet i Cambridge ble kåret til verdens beste universitet i 2010 av organisasjonen QS World University Rankings, som hvert år offentliggjør en kjent internasjonal rangering basert på publiseringer og siteringer.

Københavns Universitet var best i Norden på 45. plass på den samme listen, mens Uppsala universitet ble nr 62 og Universitetet i Helsinki ble nr 75.

Fagfellevurdering veier tyngst blant kriteriene som ligger til grunn for QS-rangeringen, mens andre kåringer legger mer vekt på for eksempel antall nobelpriser, antall siteringer eller artikler publisert i prestisjetunge tidsskrifter som Nature og Science.

Rangeringer fra QS og andre internasjonale ”overdommere” får alltid mye publisitet, men de er blitt møtt med mye kritikk fordi indikatorene som brukes har usikker verdi.

Det har til dels vært liten åpenhet rundt prosessene som leder fram til rangeringene, og universiteter er så forskjellige at rangeringene til dels sammenlikner ”epler og appelsiner”.

Ingen dårlige forskere blir sitert mye, men det finnes mange gode forskere som ikke blir sitert mye. Hvor stor forskjell er det egentlig på et universitet som blir nr 45 og 62 i en rangering av mer enn 600 deltakere?

Københavns Universitet er nr 45 på en liste over verdens beste universiteter. (Foto: Heine Pedersen)

NordForsk etablerte i 2008 et nettverk bestående av nordiske eksperter på bibliometri, et fagområde som analyserer litteratur og forfatterskap ut fra statistiske kriterier.

Nettverket har tidligere publisert to rapporter om nordisk forskningssamarbeid og bibliometriske forskningsindikatorer, og publiserer nå en tredje rapport som bruker utvalgte bibliometriske metoder til å sammenligne forskningen ved nordiske universiteter.

De fleste rangeringer gir for eksempel full kreditt til alle universiteter og forskere som har bidratt til en vitenskapelig artikkel, og en forsker kan få siteringspoeng ved å sitere seg selv.

Den bibliometriske tilnærmingen i rapporten går blant annet ut på å fordele krediteringen mellom antallet universiteter som står bak artikkelen, i tillegg til at selvsiteringene blir ekskludert.

Nordiske forskere siteres ofte

Forskere er opptatt av å publisere artikler i vitenskapelige tidsskrifter, men de er også opptatt av at artiklene skal bli sitert etterpå av andre forskere. Publiseringer og siteringer er derfor mye brukt som indikatorer på forskningskvalitet.

(Illustrasjonsfoto: www.colourbox.no)

Rapporten viser blant annet at forskerne i alle de nordiske landene blir sitert oftere enn gjennomsnittet i verden for øvrig. Danmark er best i Norden med en nasjonal siteringsindeks som ligger 27 prosent høyere enn verdensgjennomsnittet, mens Sverige og Island ligger henholdsvis 13 og 11 prosent høyere enn gjennomsnittet.

De norske og finske forskerne ligger henholdsvis 8 og 5 prosent høyere enn verdensgjennomsnittet, viser rapporten.

Rapporten dokumenterer også de nordiske nasjonenes ulike forskningsprofiler. Danmark har en høy forskningsaktivitet innen landbruk, fiskeri og skogbruk, mens Finland ligger høyt når det gjelder ingeniørfag og materialforskning.

Vulkanøya Island og oljenasjonen Norge har satset mye på geofagene, mens Sverige fremstår som en all round-nasjon med generelt høyt aktivitet. Svenske forskere publiserer mest og har levert 42,5 prosent av alle vitenskapelige artikler i Norden i perioden 2005 til 2009, viser en ny rapport.

Men veksten i antall publiseringer er størst i Norge og Island.

Kunnskapen er i detaljene

Rapporten bør likevel ikke brukes til å fastslå at for eksempel ”danske forskere er best i Norden”, mener utvalget. Kanskje forklaringen isteden er at Danmark har mange forskere innen områder med mange vitenskapelige tidsskrifter.

Nettverket som står bak rapporten håper isteden å ha vist at avanserte bibliometriske indikatorer kan tilby et mer detaljert helhetsbilde og gi mer innsikt enn rangeringer.

– Slike indikatorer gir oss ikke bare muligheten til å måle forskningsprestasjoner istedenfor bare å rangere dem, men de kan også vise frem variasjoner innenfor og mellom institusjoner – variasjoner som blir borte i generelle kåringer.

– Ved å tilby transparente og reproduserbare metoder, kan bibliometrien bidra til å levere den informasjonen som trengs for å starte en benchmarking-prosess innen de enkelte organisasjonene. De vanlige kåringene egner seg dårlig til dette, fremgår det av rapporten.

Ufullstendig bilde

Nettverket er de første til å understreke at heller ikke denne rapporten gir et fullstendig bilde av forskningskvaliteten i de nordiske landene. Rapporten bygger på en analyse av forskningsdata i perioden 2000 til 2009 i Web of Science, som har en database med artikler fra cirka 11 500 internasjonale vitenskapelige tidsskrifter.

Men Web of Science inneholder ikke nok data til å lage pålitelig statistikk for samfunnsfagene og de humanistiske fagene.

Rapporten dekker derfor utelukkende forskningsinstitusjoner med en viss aktivitet innenfor noen av følgende fagområder: Landbruk, fiskeri og skogbruk, biologi, biomedisin, kjemi, ingeniørvitenskap og materialforskning; geofag, helsefag og psykologi, samt fysikk og matematikk.

Studien omfatter til sammen 40 universiteter og 23 universitetssykehus.

Utvalget anbefaler at rapporten leses som et supplement til de internasjonale rangeringene som regelmessig får stor oppmerksomhet.

Nettverket ønsker seg en bedre representasjon av samfunnsvitenskapelig og humanistisk forskning i databasene som brukes til bibliometriske analyser, og de antyder at et nytt NORIA-nettverk kan etableres for å bidra til en slik prosess.

Referanse:

Comparing Research at Nordic Universities using Bibliometric Indicators, NordForsk Policy Briefs, 4–2011

Powered by Labrador CMS