Vi inviteres stadig til å fylle ut spørreskjemaer der vi blir bedt om å fortelle hva vi mener om det meste mellom himmel og jord. Ofte skal vi krysse av for i hvilken grad vi er enig i påstandene som serveres.

Spørreundersøkelser er svært utbredt i samfunnsvitenskapene, kanskje særlig i forskning på ledelse. Men de brukes også i mange andre sammenhenger for å kartlegge folks holdninger til ulike temaer.

Forskerne er ikke alltid opptatt av hva du svarer på de enkelte spørsmålene, enten du nå gir lav eller høy skår eller noe imellom. De er opptatt av å finne frem til mønstre i det du svarer. Mønstrene finner de ved å se på sammenhenger mellom det du svarer på flere spørsmål.

Ikke sikker på om vi kan stole på resultatene

Forskerne vil for eksempel finne ut om ulike typer ledelse henger sammen med motivasjon hos de ansatte. Eller om ulike typer ledelse henger sammen med hvordan du oppfører deg på jobben. Eller å finne frem til hva ledere kan gjøre for øke medarbeidernes prestasjoner.

Kan vi så stole på det ledelsesforskerne kommer frem til?

Professor og ledelsesforsker Jan Ketil Arnulf ved Handelshøyskolen BI er slett ikke sikker på det. Han har nylig offentliggjort en studie som utfordrer ledelsesforskernes metode.

– Sammenhengene i slike undersøkelser er oftest språklige. De henger ikke sammen med folks grad av enighet eller uenighet i spørsmålene de har svart på, hevder han.

Kan regne ut resultater på forhånd

BI-forskeren har tidligere vist at det med nesten 90 prosent treffsikkerhet er mulig å gjette seg til hva folk vil svare i spørreskjemaer før de er spurt. Hvordan i all verden er det mulig?

Arnulf har i sin forskning samarbeidet med kolleger i USA som har utviklet digitale språkalgoritmer. Dette er teknologi som likner på den som brukes i søkemotorer på internett.

Algoritmene sammenlikner spørsmålene i spørreskjemaene for å se i hvor stor grad spørsmålene har overlappende betydning. For eksempel vil algoritmen vise at «i dag er det tirsdag» betyr det samme som «i morgen kommer onsdag», enda setningene ikke har et eneste ord til felles.

Ofte vil to spørsmål kunne være nok til å «gjette» på svaret på et tredje spørsmål. Eksempelet med tirsdag og onsdag er opplagt, men algoritmene vil finne slike sammenhenger i langt mindre tydelige setninger.

I praksis innebærer dette at spørsmål med tilsynelatende forskjellig ordbruk spør om samme sak. Når vi krysser av svar på spørsmål som er ganske like, vil svarene ofte også være like.

Algoritmene oppfatter mer nyanserte og systematiske forskjeller i setninger enn det vi mennesker gjør. Og de bruker informasjonen til å «gjette» hva en person vil svare.

I spørreskjemaer med flere spørsmål om det samme temaet, oppstår mønstre av likheter som vil bestemme statistikken i svarene. Basert på hvor likheten i spørsmålene, er det altså mulig til å gjette seg til hva folk kommer til å svare i virkeligheten med svært høy treffsikkerhet.

Jan Ketil Arnulf har sammen med forskerne Kai Rune Larsen og Øyvind L. Martinsen demonstrert denne muligheten i en forskningsartikkel som nylig ble publisert i tidsskriftet Sage Open. Her viser de at kunnskap om de tre første svarene i et spørreskjema gjør det mulig å gjette ganske presist hvordan de neste 43 spørsmålene vil besvares.

Folks holdninger forsvinner

Spørreskjemaer fanger både opp intervjupersonenes grad av enighet – det som kalles holdningsstyrke – og hvordan intervjupersonene forstår og bruker språk. Sammen med kollegene Kai Rune Larsen, Øyvind L. Martinsen og Thore Egeland har Arnulf også utviklet en metode for å se hvor språklig «korrekt» hver enkelt person oppfører seg.

– Vi kan nå skille personenes grad av enighet – deres såkalte holdningsstyrke – fra deres grad av språklig systematikk, altså hvor nært de kommer algoritmenes gjetninger basert på hvor like spørsmålene er, forklarer BI-professoren. Ifølge Arnulf vil det gjøre det mulig å spore hvilke elementer som kommer med i forskernes modeller.

Jan Ketil Arnulf og hans forskerkolleger har gransket fire datasett fra spørreundersøkelser som omfatter nærmere 7800 respondenter og mer enn 27 millioner observerte svarkombinasjoner. Resultatene av studien er nylig offentliggjort i det vitenskapelige tidsskriftet Behavior Research Methods.

– Dessverre viser det seg at deltakernes holdningsstyrke blir filtrert ut. Alt man står igjen med, er språklige sammenhenger, konkluderer  Arnulf. Det vil si at de svarer likt på spørsmål som spør om det samme med ulik ordlyd.

Undersøkelsen viser at folk vanligvis legger igjen ganske mye informasjon om sine holdninger til ledelse og arbeid. Men der forskerne har spurt folk om hva de synes om sjefen sin, om arbeidsforholdene og om deres opplevelse av jobben sin, så er denne informasjonen blitt visket bort i de vanligste metodene forskere bruker i ledelse.

Forskning og virkelighet

På denne måten ser det ut til at ganske mye forskning på ledelse og arbeid ikke handler om ledelse og arbeid, fremholder Arnulf.

Temaet man forsket på, har rett og slett blitt borte underveis i behandlingen av informasjonen. I stedet står man igjen med noen tall som forteller mest om hvordan folk bruker språk. Og de resultatene er ofte ikke så veldig overraskende.

Da kan vi for eksempel få vite at folk som liker jobben sin ikke vil slutte like ofte som folk som ikke liker jobben sin.

– Dette trenger man knapt forskning for å påvise, fordi dette bare blir definisjoner av begreper som alle bruker.

Det er på samme måte ikke overraskende at folk er mer glad i en sjef som er interessert i dem, enn i en sjef som ikke interesserer seg for dem.

– Vi må faktisk spørre om de mange medarbeiderundersøkelser som regelmessig blir gjennomført, måler det de utgir seg for å måle, advarer Arnulf.

Tilbake til tegnebrettet

Funnene i undersøkelsen til Arnulf & co berører et spørsmål som har vært kjent, men lite diskutert i offentligheten: Hva er egentlig sammenhengen mellom det som kan fortone seg som abstrakte forskningsfunn og virkelig atferd på jobben?

Forskernes statistikker framstår som mer entydige og sammenhengende enn atferd i det virkelige liv. Sammenhengene er sterkere i forskning enn i virkeligheten. Nå hevder altså Arnulf at ledelsesforskernes bruk av spørreundersøkelser rett og slett ikke holder mål.

– Bare når det gjelder personlighetstester, som er i slekt med IQ-tester, fant vi at metoden fortsatt holder stikk, fremholder Jan Ketil Arnulf.

Etter å ha servert denne brannfakkelen, mener BI-professoren at det bare er en ting å gjøre:

– Ledelsesforskningen må tilbake til tegnebordet. Vi trenger andre data, andre metoder, og ikke minst: Vi må ha en bedre filosofisk grunnforståelse av hva lederforskningen egentlig går ut på.

Referanser:

Arnulf, Jan Ketil, Kai Rune Larsen, Øyvind Lund Martinsen og Thore Egeland (2018): The failing measurement of attitudes: How semantic determinants of individual survey responses come to replace measures of attitude strength. Behavior Research Methods doi.org/10.3758/s13428-017-0999-y. Sammendrag

Arnulf, J. K., Larsen, K. R., & Martinsen, Ø. L. (2018). Respondent Robotics: Simulating responses to Likert-scale survey items. Sage Open, January-March, 1-18. doi:10.1177/2158244018764803