Mange av disse publikasjonspoengene som stadig oftere plinger inn, har de egentlig noe poeng i det hele tatt, utover publikasjonspoenget altså? Opplever vi en kunnskapseksplosjon, eller en flodbølge av akademisk pisspreik?

Sagt på en mer forsiktig måte, ser vi en økning i kvantitet, men en senkning i kvalitet, slik Dag O. Hessen hevdet i et intervju på forskning.no i 2012?

Når jeg våger å si at jeg tror Hessen har helt rett, så er jeg fullt klar over at dette er en mening som i stor grad er basert på anekdotisk evidens, en serie studier og fortellinger om tullball og tulletall som har kommet på trykk og som har begynt å leve sitt eget liv et sted hvor de slett ikke hører hjemme: i akademia.

Jeg er i tillegg klar over at kvinner og menn i min alder har en tendens til å glorifisere ”de gode gamle dager”, ene og alene for å gi et spark til jyplingene som skal overta etter oss. Likevel, jeg tror at prevalensraten for akademisk pisspreik er høyere i dag enn da jeg var ung og manøvrerte rundt i kortkatalogene på universitetsbiblioteket i Bergen.

Kortkatalogene er nå borte, erstattet av enorme elektroniske databaser som har økt og effektivisert tilgangen vår til kunnskap og dokumentasjon. Det å skaffe tilveie et dokument med viktig kunnskap kunne ta flere uker på 1980-tallet. I dag kan jeg gjøre den samme operasjonen i løpet av sekunder.

Her ligger det et formidabelt paradoks. Hvordan er det mulig å snakke om synkende akademisk kvalitet når verktøyene vi har for å heve den er blitt så mye bedre?

Betydningsløse publikasjoner og CV-fyll

I lang tid har jeg vært på utkikk etter mer håndfast dokumentasjon på disse påstandene om at akademia er i ferd med å oversvømmes av sølevann. Jeg snublet nylig over en liten artikkel om temaet, full av tall og harde fakta, og som formidler klinkende klart at forfatteren har gode grunner til å være bekymret over kvaliteten på det som slippes gjennom den akademiske publiseringprossessen i våre dager.

Professor S. Rajasekaran spør i en artikkel publisert i august 2012 om det vi opplever er en ”explosion of knowledge or just junk science”, og tallene han presenterer er nok rystende for mange av oss. Kun 45 prosent av alle artikler i de 4500 viktigste vitenskapelige tidsskriftene blir sitert eller henvist til i løpet av de fem første årene etter at de er publisert. Ifølge Rajasekaran ser de fleste vitenskapelige publikasjoner ut til å være betydningsløse, og fungerer egentlig bare som CV-fyll.

Jakten på primærkilden

Skal jeg bruke dette tallet i en kronikk som denne, på forskning.no, må jeg naturligvis verifisere påstanden ved å oppsøke kilden den kommer fra. Her kommer dette poenget med den digitale revolusjonen inn. Da jeg begynte å studere i 1981 ville det tatt meg mange dager å finne fram til en artikkel i tidsskriftet som Rajasekaran henviser til. Nå brukte jeg ett enkelt museklikk på å finne kildeteksten fra 2010 i The Chronicle of Higher Education.

Der og da begynte imidlertid begeistringen min over å ha lært noe nytt å avta. Dette er slett ingen primærkilde som kan dokumentere disse 45 sjokkerende lave prosentene, men et slags leserbrev med en drøss forfattere som beklager seg over ”the avalanche of low-quality research”. Verst av alt; det er ingen kildehenvisninger der som kan hjelpe meg videre til å finne ut av hvor i helsike de 45 prosentene egentlig kommer fra.

Her kom de digitale verktøyene inn igjen, denne gangen som en reddende engel. Ved å kombinere alt jeg har av kreative søketeknikker klarte jeg å spore meg fram til neste post i dette rebusløpet, og til det som åpenbart må være opprinnelsen til tallet. Det er snakk om en nyhetsartikkel publisert i Science i 1990, og de 45 prosentene handler naturlig nok om artikler som er enda eldre. Datagrunnlaget det dreier seg om er artikler som ble publisert mellom 1981 og 1985!

Med andre ord, dette tallet sier ingenting som helst om hvor ille ting er i dag, men ganske mye om hvor mye ”betydningsløs” forskning som ble publisert i de gode gamle dager.

Primærkildens pålitelighet

Det er faktisk enda flere overraskelser i denne saken. Nok en gang, ved hjelp av disse vidunderlige elektroniske verktøyene, klarte jeg ganske fort å finne ut at tallene som ble publisert i Science i 1990 egentlig dreier seg om telling av hummer og kanari. Det kom fram senere at tallmaterialet som ble brukt som grunnlag omfattet ikke bare vitenskapelige artikler, men også nekrologer, brev til redaktøren, møtereferat, kommentarer og andre typer ”marginalia”, det vil si skriverier ingen kan forvente vil bli sitert i nevneverdig grad.

De 45 prosentene er med andre ord et tulletall, men som likevel har klart å skape mye akademisk og forskningspolitisk tullball. Dette er noe Science har fått velfortjent pepper for i ettertid, blant annet fra Eugene Garfield (1998), grunnleggeren av ISI (Institute of Scientific Information).

Hva er det som gjør at sånt som dette kan komme på trykk i 2012, en tid da det er så lett å oppdage at tallet mangler dokumentasjon i form av en primærkilde, at det er så gammelt at det regelrett motsier argumentet, og sist men ikke minst, at de 45 prosentene er både upålitelige og sterkt misvisende?

Jeg hadde sant å si forhåpninger om at Rajasekaran kanskje kunne gi meg tall som kan dokumentere at akademiske standarder er i fritt fall, men disse forhåpningene ble altså, ironisk nok, knust i fallet. Trøsten er at jeg kan føye nok en anekdote til samlingen min.

I utgangspunktet er det ikke noe nytt og spennende med denne nye anekdoten. Dette er et velkjent scenario: akademikere som ikke bryr seg om å oppsøke primærkilder, og som har liten interesse for å sjekke opp sannhetsgehalten i hva de påstår når de henviser til andre. Akkurat dette eksempelet har likevel noe ved seg som kanskje kan bringe oss litt nærmere en forklaring på hva som er roten til problemet.

Nye snarveier for travle akademikere

Rajasekaran har egentlig videreformidlet en akademisk vandrehistorie, og det bekymringsverdige er ikke bare at han ikke har oppdaget det selv, men at tidsskriftet han formidler den gjennom heller ikke har gjort det.

Artikkelen til Rajasekaran ble publisert i Bone & Joint 360, et tidsskrift som markedsfører seg selv på følgende måte på sin nettside: “A time-saving journal for busy orthopaedic surgeons … Our hope is that it should take no more than 60 minutes to read.” Det kan se ut til at både forfatteren og redaktøren har hatt det like travelt som sine lesere i akkurat dette tilfellet.

Paradokset er åpenbart. Akademikere fortsetter å formidle tullball og tulletall selv om det aldri har vært så enkelt å avsløre denne typen virksomhet. I stedet for å bruke de digitale hjelpemidlene til å heve kvaliteten på det vi skriver, ser vi nå at mange bruker databasene til et annet, og helt motsatt formål.

Man hiver inn noen søkeord i en database, plukker ut referansene som ser penest ut, og sprer dem utover sin egen tekst i mengder og med en grad av presisjon som til tider kan minne om oreganoflak som drysses over en pizza. Det er tydeligvis ikke viktig å ha lest kildene man viser til, og da blir det heller ikke problematisk å plagiere kildehenvisninger fra andre. Det er dukket opp flere studier av akkurat dette forunderlige fenomenet: Lange rekker med akademikere som tilsynelatende helt uavhengig av hverandre klarer å gjengi én og samme kilde på nøyaktig samme riv ruskende gale måte.

Sjekker ikke kildene

Dette er naturligvis en type praksis som bryter med grunnleggende akademiske regler og prinsipper, men de som plukker og plagierer på denne måten har likevel liten grunn til å bekymre seg over å bli avslørt. Lesere av akademiske tekster i våre dager har sjelden tid til å sjekke relevans og samsvar mellom tekst og kilder, mange av dem fordi de er så skrekkelig travelt opptatt med å skrive selv og sanke publikasjonspoeng for å overleve i akademia. Resultatet av denne runddansen blir en flora av akademiske vandrehistorier, og ikke så rent lite akademisk pisspreik.

Mange akademikere kan trenge et spark bak for å skrive mer, eller en gulrot som kan oppmuntre dem til å bevege seg ut i det akademiske trafikkbildet. Minst like viktig er det nok å få mange av dem som allerede er der ute, og som fyker rundt i vill fart, til å holde seg hjemme, i alle fall til de har lært seg de aller mest grunnleggende kjørereglene for akademiske tekster.

Det finnes akademikere som ikke bryr seg om forskjellen på primær- og sekundærkilder, og det kan synes som enda flere tror at kildehenvisninger dreier seg utelukkende om kreditering og forsikring mot plagiatbeskyldninger. Mange av oss overser at det kan være fordelaktig å forsikre seg om at det vi sier står i en kilde faktisk står der, og at kilden er sånn noenlunde pålitelig. Kildehenvisninger er dessuten også adresser, som må være nøyaktige og fullstendige for at de skal kunne brukes av lesere, for eksempel de som fortsatt måtte ha tid til etterprøve eller utforske konteksten til tall og påstander. Tar man ikke hensyn til disse funksjonene forsvinner skillelinjene mellom kunnskap og vitenskap på den ene siden, og rykter og vandrehistorier på den andre.

Hellige akademiske tekster

Rajasekaran klager over at ”the published paper is no longer sacred”. Forestillingen om at det noensinne har eksistert hellige vitenskapelige tekster er nok en annen viktig del av forklaringen på at han, og mange av oss andre, av og til går i baret så det suser. Dette dreier seg ikke bare om å ha tillit til forfatteren og fagfellene, men en nesten religiøs tiltro til at tall og ord på mirakuløst vis forvandles til hellige sannheter i det øyeblikket de trykkes i tidsskrifter som The Chronicle of Higher Education eller Science.

Vi kan stole så blindt på slike skrifter at mange av oss ikke engang ser noe galt i å basere oss på en stabel av sammendrag vi har røsket med oss fra elektroniske databaser. Men enda verre, det er ikke problematisk å plagiere kildehenvisninger heller, for vi stoler like blindt på at de er grundig sjekket av forfatteren og tidsskriftet vi knabber dem fra.

Det siste er nok dessverre en sannhet med modifikasjoner. En lang rekke studier viser at forekomsten av feilaktig og misvisende kildebruk er skremmende høy i akademiske publikasjoner. Dette er tall som bekrefter noe vi egentlig har ant lenge; at mange skrivende akademikere utsetter jobben med å sjekke kildene sine til det er for sent, og at svært mange fagfeller ikke tar seg tid til å se på denne siden ved artiklene de har til vurdering. Vi har bare ikke visst at problemet er så formidabelt.

Eksistensen av slike menneskelige svakheter er det fort gjort å glemme når vi har en blendende vitenskapelig artikkel foran oss, full av funn og fakta, og tilsynelatende flotte kildehenvisninger.

Skal vi komme videre i spørsmålet om vi lever i en tid med akademisk forfall, er det et blindspor å bekymre oss over at noen publikasjoner aldri blir gjenstand for en kildehenvisning. Langt viktigere er det å fokusere på de som siteres, men som, når vi graver bittelitt i fundamentet, viser seg å inneholde akademisk pisspreik.

For å si som sant er, jeg er ikke helt sikker på at ting var så mye bedre i gamle dager. Det er likevel noe aldeles ubegripelig ved at akademiske publikasjoner kan få lov til å fungere som en boltreplass for rykter og vandrehistorier i en tid da det aldri har vært så enkelt å oppsøke og kvalitetssikre kildene og kunnskapen vi baserer oss på når vi skriver.