Med jevne mellomrom dukker det opp absurd forskning som får store oppslag.

Nå har “forskning” vist at kvinner synes de beste syklistene i Tour de France er kjekkest og at dette viser at mennesket gjennom evolusjonen har utviklet evnen til å gjenkjenne fysiske prestasjoner i ansikter.

Studien har fått bred omtale internasjonalt gjennom blant annet BBC og The Economist, og har blitt spredt til norske medier via Forskning.no.

Ekstremt utvalg

Deltakerne i Tour de France er i den beste milliontedelen av verdens syklister. Norge stiller sjelden med mer enn to deltakere. At de mest utholdende innenfor denne ekstremt veltrente gruppen skulle kunne identifiseres basert på hvor kjekke kvinner synes de er, ville vært helt utrolig.

Da kunne jo idrettsorganisasjoner droppe de krevende prosessene rundt uttak til OL, VM, EM og lignende. Man kunne bare sende ansiktsbilder av aktuelle kandidater til en gruppe kvinner og be dem si hvem som er kjekkest. Og vips, landslaget er klart.

• Les forskning.nos notis om studien her.

Evolusjon skjer blant normale

Forskeren hevder at de 10 prosent beste av utvalget på 80 Tour de France-deltakere i 2012 var 25 prosent mer attraktive enn de 10 prosent dårligste. Han mener at denne kompetansen til å identifisere de mest utholdende menn har skjedd gjennom menneskets evolusjon.

Men skulle denne evnen ha blitt utviklet, så må den jo gjelde enda mer på menn som er på et litt lavere fysisk nivå enn Tour de France-deltakere. Tross alt er det veldig få kvinner som både har tilgang til og lar seg befrukte av den sprekeste milliontedelen av menn.

Så la oss gjøre det fysiske nivået litt mer realistisk. Ta for eksempel utvalget av de 100 menn som ble mellom 1501 og 1600 i Birkebeinerrennet på ski i 2012. I følge resultatet fra den nevnte studien vil da de som ble nr. 1591-1600 være 25 prosent styggere enn de som ble nr. 1501-1510.

Vel er jeg ikke så kjekk lenger, men jeg har tungt for å akseptere at jeg, som ble nr. 1592, skulle være så mye styggere enn de som gikk et minutt fortere enn meg. Hvis man generaliserer resultatene til at Birken-deltakerne blir 25 prosent styggere for hver 100. plass, kan det ikke være mye trivelig å være tilskuer etter at, la oss si, de første 1000 har kommet i mål.

Mangel på replikeringer

”The Economist” skriver i en artikkel 10. oktober 2013: ”Scientists like to think of science as self-correcting. To an alarming degree, it is not.”

Mye oppsiktsvekkende forskning lar seg ikke replikere. Det betyr at hvis en tilsvarende studie gjøres en gang til, så klarer man ikke påvise samme resultat. Men det krever at det er andre enn de opprinnelige forskerne som gjentar studiet.

I mitt fagfelt, utvikling av IT-systemer, analyserte jeg 104 eksperimenter og fant at replikeringer utført av de samme forskerne som utførte det opprinnelige eksperimentet, påviste samme resultat i cirka 90 prosent av tilfellene. Hvis det derimot var andre forskere som utførte replikeringene, var det bare omtrent 10 prosent av de replikerte eksperimentene som påviste samme resultat.

Når Forskning.no eller andre medier blir kjent med oppsiktsvekkende resultater, bør de stille spørsmålet: Har resultatene blitt påvist i noen oppfølgende studie utført av andre?

Ugyldige resultater

Forskere som finner oppsiktsvekkende resultater begår ofte feil – bevisst eller ubevisst – som gjør resultatene ugyldige. En rekke feil kan ha blitt begått i denne studien. La meg nevne noen få av mange mulige feilkilder.

Man kan gjøre mange analyser, og så velger man den analysen som tilfeldigvis gir det ønskede resultatet. I dette tilfellet ser man på grafen i artikkelen som plotter utseendet mot resultatet i Tour de France, at det langt fra er noen tydelig sammenheng mellom utseende og tider; punktene ligger i en stor klump.

Forskeren er svært uklar når det gjelder omtale av signifikante resultater, det vil si sannsynligheten for at resultatene ikke bare er et resultat av tilfeldigheter. For eksempel når han sier at de 8 beste i utvalget var 25 prosent mer attraktive enn de 8 dårligste, så nevner han ikke signifikans.

Resultatet er neppe signifikant. Det er metodisk problematisk med to grupper som hver bare består av 8 personer.

Bruker Tour de France

Forskeren velger å bruke Tour de France som case, som er et av idrettsarrangementene i verden med størst mediedekning. Det betyr at de beste rytterne er svært profilerte i media. Som kjent er man mer positive til personer man gjenkjenner enn helt fremmede. Det har forskeren også på en måte tatt høyde for ved at kvinnene som skulle vurdere mennene, skulle si fra hvis de gjenkjente vedkommende. Men det skjedde i bare 0.9 prosent av tilfellene.

Mange av kvinnene kan ha latt være med å ta bryet med å melde fra. Videre kan gjenkjenningen være ubevisst. Forskeren kunne lett ha unngått denne feilkilden ved å velge et idrettsarrangement som ikke var så medieeksponert, for eksempel sykkelrittet ”Enebakk rundt.” Men forskeren vet nok at BBC News neppe hadde rapportert en studie som undersøkte sammenhengen mellom utseende og tider i ”Enebakk rundt.”

En annen feilkilde er at i de beste teamene i Tour de France er hjelperytterne meget gode. Men som hjelperytter er jobben å sørge for at kapteinen på teamet gjør det best mulig. Egen tid kommer i annen rekke.

Videre er det mange ulike konkurranser innenfor Tour’en. Noen vinner visse typer etapper, andre vinner andre etapper fremfor å tenke total slutt-tid. Hvorfor valgte ikke forskeren for eksempel et maratonløp der man ikke har team med hjelpeløpere, der det generelt er mye mindre taktikkeri, mindre doping og alle konkurrerer om det samme (tiden etter 42 km)?

Finansiering av oppfølgende studie

Som sagt, oppsiktsvekkende studier må replikeres. Hvis noen tilbyr finansiering, kan jeg påta meg oppgaven. Utvalget av menn kan være de som blir mellom nr. 100 og 300 i høstens Oslo Maraton.

Jeg kan på forhånd synliggjøre og be om innspill på hypoteser og all prosedyre for datainnsamling og analyse for å unngå å bli beskyldt for å påvirke utfallet i en bestemt retning.

Hvis det viser seg, med statistisk signifikans, at en gruppe tilfeldig utvalgte kvinner mener at mennene som blir nr. 101-120 er minst 25 prosent kjekkere enn de som blir nr. 281-300, skal jeg beklage mine insinuasjoner mot Tour de France-studien.