PISA-undersøkelsen gjør forskjell på land, og man bruker testresultater for ett fagfelt til å nærmest gjette seg fram til elevenes ferdigheter i ett helt annet.

Det hevder den danske statistikeren Svend Kreiner fra Institut for Biostatistik på Københavns Universitet. Les artiklene som har stått på forskning.no her og her.

Rolf Vegar Olsen i forskergruppa Measurement and Evaluation of Student Achievement (MESA) ved Universitetet i Oslo, tar nå til motmæle, blant annet med argumentet om at grunnlaget som Kreiner bygger påstandene sine på ikke er vitenskapelig kvalitetssikret.

- En hovedinnvending er at han baserer kritikken sin på undersøkelser som ikke er fagfellevurderte, men bare lagt fram på en konferanse, sier han.

Hevder rangeringen er upålitelig

En påstand Kreiner har kommet med er at modellene som man bruker til å anslå for eksempel matematikknivået til en nasjons elever, beregner dette ut fra hvor godt vedkommende har gjort det på oppgaver i andre fagfelt, som lesing.

Man regner med at en elev som gjør det godt på den ene testen vil gjøre det tilsvarende godt på det andre fagfeltet, ifølge Kreiner.

Han mener at hvis man derimot ser på fagfeltene spesifikt, vil man se at det ikke er slik, og at man kan endre landendes innbyrdes plassering etter forgodtbefinnende.

– Danmark kan være nummer tre og nummer 40 med utgangspunkt i de samme testresultatene, i full overensstemmelse med de reglene folkene bak PISA selv stiller opp, poengterer Kreiner i artikkelen.

- Det er riktig at vi blant annet bruker resultatene fra ett fagfelt til å estimere hvor høyt nivået vil ligge også på et annet fagfelt, men Kreiner gir en helt feilaktig framstilling av det, sier Olsen.

- Framstiller det som gjetting

- Kreiner framstiller det som gjetting. Sånn er det selvsagt ikke. Det ville betydd at vi drev med juks og fanteri, sier Olsen.

Han sier det er kompliserte beregninger som ligger bak resultatene, men at det finnes god dokumentasjon på hvordan det er gjort.

- En person med Kreiners innsikt burde være i stand til å både finne og sette seg inn i denne dokumentasjonen, sier Olsen.

Han skjønner at det for lekfolk kan virke merkelig at utregningene forutsetter at elever som er gode i matematikk er tilsvarende gode i lesing. Men så er det heller ikke nivået til den enkelte elev man ønsker å finne, men fordelingen blant hele nasjonens elever, understreker han.

- Dette er en metode som brukes i alle de internasjonale undersøkelsene, og dokumentasjonen på at dette virker slik at fordelingen på populasjonsnivå blir mer riktig, er bunnsolid, sier Olsen.

Fagresultater + elevens bakgrunn

Elevene svarer på oppgaver med delvis overlappende innhold. Hver elev svarer på et oppgavehefte som tar to timer å fylle ut. PISA-undersøkelsen består av 13 ulike slike oppgavehefter.

- Da kan vi få dekket det som til sammen er en sjutimers test. Det er derfor ikke alle elevene svarer på oppgaver innenfor alle områder, sier Olsen.

I tillegg til faglige spørsmål, svarer elever på detaljerte spørsmål om bakgrunnen sin – alt fra om hvor mange bøker som finnes hjemme og familiens økonomi, til hvordan yrke og utdannelse foreldrene har.

- Ved å bruke all den kunnskapen vi har om den enkelte eleven, deres kjønn, sosioøkonomisk bakgrunn og flere andre faktorer, kan vi beregne et resultat også innenfor et fagområde der eleven ikke har svart på oppgaver.

- Dersom det hadde vært den enkelte elev som skulle fått disse resultatene, ville dette selvsagt vært en meningsløs praksis, men det er godt dokumentert at man ved hjelp av denne metoden får et bedre resultat for fordelingen for populasjonen, sier Olsen.

- Baserer seg på for lite utvalg

Den norske PISA-forskeren har lest artikkelen som Kreiner baserer påstandene sine på, og sier den danske statistikeren bare har valgt ut et tjuetalls oppgaver i lesing til sin analyse, og har delt disse opp i fire igjen ulike tester med fem til sju oppgaver i hver test.

- Med så små tester, analyserer Kreiner stort sett statistisk støy, og landenes rangering vil derfor variere mye, sier Olsen.

- PISA er undersøkelser med veldig mange oppgaver. Oppgaver i lesing kan være både om skjønnlitterære tekster og mye annet forskjellig. Vi må ha så mange oppgaver for å ha et robust grunnlag å måle elevene på, sier han.

- Kulturforskjeller gjør utslag

Svend Kreiner mener også at resultatene kan farges av kulturforskjellen i de ulike landene, fordi spørsmålene skal være ganske like.

Han trekker som eksempel fram at det ville være en dårlig idé for eksempel å bruke ordet gris i testene, fordi elevene i ulike land vil ha forskjellig forhold til dette dyret. Noen spiser gris, mens andre holder seg unna.

- Som Kreiner framstiller det, kan det virke som vi bak PISA er helt naive, og som at vi har med svinekjøtt i oppgavene, noe vi selvsagt ikke har, sier han.

Siler oppgavene

- Oppgavene som til slutt blir med er grundig vurdert av internasjonalt anerkjente fageksperter, og alle landene har oppgavene oppe til vurdering før de blir tatt med.

- Dette er også en side ved PISA som er vitenskapelig dokumentert i rapporter og artikler i tidsskrifter, sier Olsen.

I tillegg sier han at det gjennomføres en generalprøve året før den virkelige prøven, og at oppgavene som ikke fungerer blir luket ut da.

- Hvis det likevel skulle bli med én eller to oppgaver som skurrer i ett land, går det fint å utelate det fra dem landets beregninger etterpå.

Åpen for kritikk

- Hvis og når Kreiners arbeid blir akseptert for publisering, vil debatten om dette kunne bli konstruktiv, sier han.

Han understreker at PISA fortjener et kritisk blikk fra utsiden fordi den brukes aktivt i politikkutformingen i land.

- Men når Kreiner aktivt oppsøker media for å markedsføre upubliserte konklusjoner, og når journalisten som dekker saken ikke har en nødvendig kritisk avstand, får dette et preg av skittkasting, noe som selvsagt ikke fremmer et klima for nøktern og saklig faglig debatt, sier Olsen til forskning.no.