- PISA-undersøkelsen, som er en internasjonal elevtest, er ikke verdt papiret den er skrevet på.

- Man kan ikke stole på rankinglisten over hvor elevene er flinkest.

Det kom professor Svend Kreiner fra Institut for Biostatistik på Københavns Universitet nylig fram til etter å ha studert PISA-testen nærmere.

– Jeg kan demonstrere at man kan endre landenes innbyrdes plassering etter forgodtbefinnende. Danmark kan være nummer 3 og nummer 40 med utgangspunkt i de samme testresultatene, i full overensstemmelse med de reglene folkene bak PISA selv stiller opp, poengterer Kreiner.

Gjennomgikk data for 380.000 elever

PISA-undersøkelsen gjennomføres for OECD og skal undersøke hvor dyktige elevene i 70 forskjellige land er i lesing, regning og naturvitenskap.

Det skjer ved hjelp av pedagogiske tester som stiller elevene overfor forskjellige oppgaver.

Testen resulterer blant annet i en liste som viser en rangering over landene.

Arbeidsgruppen bak PISA-undersøkelsen har beskrevet testen i rapporter på tusenvis av sider.

Der fremgår det at besvarelsene blir analysert ved hjelp av en såkalt Rasch-modell. Slike modeller beskriver hvordan sannsynligheten for at det blir svart riktig på en oppgave, er avhengig av elevenes dyktighet på den ene side og oppgavenes vanskelighetsgrad på den andre.

Like dyktige elever skal ha samme sjanse

En forutsetning for å kunne bruke Rasch-modellen, er at like dyktige elever har like stor sjanse for å besvare oppgavene riktig – det vil si at hver oppgave skal ha nøyaktig samme nivået i alle land.

Hvis denne betingelsen er oppfylt, så skal man i prinsippet oppnå samme rangering av landene uansett hvilken testoppgave elevene gjør.

– Statistikere er veldig interessert i å bruke Rasch-modeller, fordi man kan argumentere for at pedagogiske tester som passer til Rasch-modellen har alle de egenskapene som pedagogiske tester skal ha, sier Kreiner.

En kapasitet på området

Svend Kreiner har forsket på Rasch-modellen som statistiker ved Danmarks Pædagogiske Institut i en årrekke.

Han har også spilt en sentral rolle i utviklingen av mange av de nasjonale lesetestene som brukes i det danske skoleverket. Alle disse er basert på Rasch-modeller.

- Selv om jeg nå arbeider ved et annet universitet, er elevtester fremdeles noe som interesserer meg voldsomt. PISA-testen har jeg alltid vært skeptisk overfor, fordi forskerne bak aldri har dokumentert at Rasch-modellen kan brukes her.

- Jeg sjekket derfor de tekniske rapportene, og dette har dessverre styrket mistanken min om at det er noe helt galt, sier han.

Statistiske modeller avslører feil

Kreiner har blant annet undersøkt om oppgavene i de forskjellige landene har samme nivå, det vil si at oppgavenes rekkefølge, om de sorteres etter vanskelighetsgrad, er den samme i alle land.

De letteste oppgavene i ett land skal også være de letteste i alle andre land.

Kreiner har ikke hatt tilgang til selve oppgavene, og derfor har det vært umulig for ham å sammenligne oppgaver fra forskjellige land.

Men han har likevel kunne sjekke om en oppgave har samme vanskelighetsgrad på alle språk, ved nettopp å bruke Rasch-modellen på svarene.

Modellen er nemlig ikke bare et verktøy til å sammenligne svarene, men kan også brukes som målestokk for om elever i ulike land opplever en oppgave som like lett eller vanskelig.

Den kan brukes til å beregne hvor mange elever som har svart riktig på vanskelige og lette oppgaver, gitt at de har oppnådd et bestemt antall poeng.

Problemer med mange oppgaver

Hvis Rasch-modellen gir samme tall for en oppgave uansett språk, så er oppgaven like vanskelig i alle land. Hvis modellen gir ulike tall, favoriserer den elevene i noen land.

Kreiner gir et eksempel:

Man kan for eksempel bruke Rasch-modellen til å regne ut at 75 prosent av alle de elevene som har oppnådd 17 poeng i testen, burde ha svart riktig på den vanskeligste oppgaven, uansett hvilket land de kom fra.

Hvis det viser seg at det bare er 50 prosent av elevene i Danmark som kan besvare den oppgaven, mens elevene i alle andre land lever opp til kravet, så er det noe galt. Da er oppgaven vanskeligere for de danske elevene enn for elevene i andre land.

– Jeg fant ni oppgaver hvor danske elever svarer mye bedre enn i andre land. Omvendt er det seks oppgaver hvor danskene svarer mye dårligere, poengterer Kreiner.

Han undersøkte om han ved å velge bestemte oppgaver kunne flytte rundt på plasseringen av landene – hvis alle oppgaver var like vanskelige, burde det være likegyldig hvilke oppgaver han valgte.

Men valget viste seg å ha stor betydning.

– Hvis jeg bruker de oppgavene hvor Danmark greier seg best, rykker Danmark opp til en tredjeplass. Bruker man i stedet de oppgavene hvor Danmark greier seg dårligst, rykker vi ned på en 42. plass, forteller han.

Språk, kultur og religion spiller en rolle

Kreiner er ikke i tvil om at forskerne bak PISA forsøkt å få oversatt oppgavene riktig, så ordlyden er trolig den samme i ulike land.

Men oppgaven kan likevel ha svært forskjellig vanskelighetsgrad fordi de henvender seg til elever med ulike språk samt vidt forskjellig religion og kultur.

En oppgave om melk vil etter alt å dømme være lettere å besvare for de elevene som lever i et samfunn hvor melk inngår som en naturlig del av kosten.

Også religion kan skape store problemer.

– Noen lærere har for eksempel påpekt at det er en dårlig idé å bruke ordet «gris» i elevtester, fordi man har et forskjellig forhold til dyret i forskjellige land. I Danmark er svinekjøtt noe man spiser, mens det i muslimske land er noe som man skal holde seg unna, sier Kreiner.

Finner og kinesere har det vanskelig

Landets språk kan også spille inn.

Finsk har for eksempel mange svært lange ord i forhold til dansk, mens en kinesisk elev må kunne tyde mange kompliserte skrifttegn for å forstå en oppgave.

– Jeg har blitt lovet innsyn i oppgavene, men jeg har ikke fått det. Jeg gleder meg til å sette meg ned og gjennomgå oppgavene sammen med en som vet mye om lesning. Da jeg snakket med de danske PISA-forskerne på DPU, ba de meg om å sende en liste over de spørsmålene hvor danske elevers svar skiller seg ut.

- Det var jeg overrasket over, for det viser med all tydelighet at de ikke har vet hvilket nivå oppgavene i praksis har i de forskjellige landene, sier han.

Testen er vanskelig å redde

Studien hans har gjort ham enda mer skeptisk overfor PISA-undersøkelsen, og personlig tror han ikke det er mulig å sammenligne elevene på tvers av alle land. Landene er altfor forskjellige til at det gir mening.

Han foreslår at man nøyer seg med å sammenligne land som har samme kultur og som bruker noenlunde samme alfabet, som for eksempel Danmark og England.

Han klare å finne åtte oppgaver hvor man faktisk kunne tillate seg å bruke Rasch-modellen i de to landene, samt en statistisk måte å korrigere for en del av feilene.

– Når det er mulig for England og Danmark, så gir det håp om at man på sikt kan gjøre det for andre land, men testen holder på ingen måte i sin nåværende form.

- Enten må de sørge for at oppgavene blir likere i de forskjellige landene, ellers må de bruke et annet analyseverktøy enn Rasch-modellen, avslutter han.