Forsvarsplanlegging og vurdering av etterretning baserer seg på antagelser om hvordan verden vil utvikle seg. Men er det egentlig mulig å vite slikt på forhånd?

I 2017 startet forsker Alexander W. Beadle ved Forsvarets forskningsinstitutt (FFI) en såkalt prediksjonsturnering for å finne ut hvor presist det er mulig å forutsi forsvars- og sikkerhetspolitikk.

Han ville også finne ut hva som kjennetegner dem som i størst grad klarer å forutsi slike hendelser.

Samlet data i en turnering

En prediksjonsturnering er en type datainnsamling hvor deltagerne rangeres etter hvor godt de treffer.

Påmelding til turneringen ble spredt via nyhetsbrev, venner, bekjente og diverse andre kanaler og deltakerne meldte seg på selv. Det er dermed ikke noe representativt utvalg. Rundt halvparten av deltagerne jobbet i forsvarssektoren på en eller annen måte.

Resultatet er et av verdens største datasett med prediksjoner av internasjonal politikk. Den eneste turneringen av tilsvarende størrelse som har blitt gjennomført tidligere, er Good Judgment Project (GJP), som ble arrangert av amerikansk etterretning fra 2011 og 2015. GJPs funn anses i dag som den ledende forskningen på området.

– FFIs turnering har gitt oss en unik mulighet til å etterprøve det siste vi vet om mulighetene for å forutsi forsvars- og sikkerhetspolitiske hendelser, sier Beadle. Han har analysert og publisert de foreløpige resultatene i en ny forskningsrapport.

Funnene vil beskrives mer detaljert i tre artikler som vil bli publisert de neste ukene. Beadle skal også jobbe videre med dataene i en doktorgradsavhandling.

Vanskelig å treffe bedre enn tilfeldig gjetning

Resultatene tyder på at vi skal ta prediksjoner om framtiden med en klype salt.

– Deltagerne i turneringen slet med å treffe bedre enn tilfeldig gjetning, selv på relativt kortsiktige spørsmål, sier Beadle.

Dette var i utgangspunktet overraskende. I GJP-turneringen var hovedfunnet at det er mulig å forutsi internasjonal politikk relativt godt. Ifølge Beadle skyldes imidlertid dette måten treffsikkerheten ble beregnet på i GJP-turneringen.

– Hvis vi kun måler treffsikkerheten basert på prediksjoner som gjøres på ett bestemt tidspunkt, slik Etterretningstjenesten gjør i sine årlige trusselvurderinger, og Forsvarsdepartementet gjør når de beskriver de sikkerhetspolitiske rammebetingelsene i Forsvarets langtidsplaner, ligger treffsikkerheten nær tilfeldig gjetning i begge turneringer.

Liten forskjell mellom eksperter og amatører

Beadle forteller at ekspertene, som de normalt hører på, riktignok treffer litt bedre enn forsvars- og sikkerhetspolitisk interesserte amatører, men at forskjellene i praksis er små.

De såkalte ekspertene var de som selv oppgav at de arbeidet eller hadde arbeidet med forsvars- og sikkerhetspolitiske spørsmål som en del av jobben sin. De talte rundt 30 prosent av deltakerne.

Amatørene var da altså de som ikke arbeidet med denne typen spørsmål. Mange av disse var likevel høyt utdannet og ekspert på et eller annet område.

Det mest overraskende er at eksperter ikke treffer bedre på spørsmål innenfor sine egne områder enn eksperter med kompetanse på helt andre temaer.

– Utdanningsnivå, relevant erfaring og spisskompetanse fremstår som irrelevante i sammenheng med prediksjon, konkluderer Beadle.

– Dette er et paradoks, siden det er nettopp disse kriteriene vi ofte bruker til å velge hvem vi hører på og til å skille mellom eksperter i andre sammenhenger.

Individuelle egenskaper og treffsikkerhet

At ekspertene ikke skiller seg positivt ut, betyr imidlertid ikke at det ikke finnes personer som er mer treffsikre enn andre. FFIs turnering bekrefter nemlig tidligere funn om at treffsikkerhet er en reell evne som varierer fra person til person.

Høyere prediksjonsevne i turneringen henger sammen med en rekke individuelle egenskaper.

Deltagere med god kognitiv kontroll, god tallforståelse, generelt politisk kunnskapsnivå og større grad av fordomsfri tekning er flinkere til å treffe på prediksjonene.

– Kognitiv kontroll – eller refleksjonsevne – handler om evnen til å unngå mentale snarveier som kan lede til gale svar, forklarer Beadle.

Personer med høyere skår på tester av disse egenskapene skårer oftere høyt også på hukommelse, reaksjonstid og risikovurdering.

– Dette er også egenskaper som kan måles på forhånd, gjennom psykologiske tester og som kan hjelpe oss til å identifisere personer som har bedre forutsetninger enn andre for å treffe best mulig, understreker Beadle.

Treffsikkerhet handler også om metode

I tillegg til de personlige egenskapene var det også forskjeller mellom deltagerne basert på hvordan de tenkte når de forsøkte å forutsi utfall.

Beadle har sett nærmere hvordan deltagerne gikk frem når de forsøkte å forutsi i selve turneringen. Han fant noen «tenkemåter» som er forbundet med bedre treffsikkerhet:

• Lete etter informasjon fra flere kilder.
• Tenke statistikk og sannsynlighet.
• Se på hvordan utfallene har fordelt seg ved tilsvarende type hendelser tidligere.
• Tenke på hva som skjer hvis dagens utvikling fortsetter.

Et av de mest overraskende funnene er at det ikke var forskjeller mellom hvor godt grunnlag deltagerne selv mente de hadde for å forutsi hvert spørsmål og hvor godt de faktisk traff.

Deltagernes treffsikkerhet var nemlig lik på spørsmålene hvor de oppgav at de bare gjettet og på spørsmålene hvor de følte seg helt sikre på prediksjonene sine.

Lytt til «superforcastere»

Et langt mer optimistisk funn fra de to turneringene er at det finnes en gruppe personer som er vesentlig bedre enn andre. Disse kan vi kalle «superforecastere».

De treffer tilnærmet så godt som det synes å være mulig å forutsi sikkerhetspolitiske hendelser noen måneder og et par år i forveien.

– I dag baserer vi oss ofte på råd fra eksperter som vi ikke kjenner prediksjonsevnen til. Ved å basere oss på prediksjonene til superforecastere i turneringer som dette, kan vi forvente en høyere treffsikkerhet enn vi kan ved kun å basere oss på eksperter, sier Beadle.

Under halvparten av superforecasterne i FFIs undersøkelse var forsvars- og sikkerhetspolitiske eksperter. I stedet kjennetegnes de av litt høyere skår på de individuelle egenskapene som henger sammen med bedre treffsikkerhet generelt.

– Turneringer fremstår derfor som et relativt effektivt virkemiddel for å forbedre treffsikkerheten til dagens prediksjoner, også i den virkelige verdenen, sier Beadle.

Matematikeren vant

De tre beste i turneringen er alle ansatt ved FFI, men jobber med vidt ulike emner. Den med suverent best score, Simen Rustad, er matematiker og jobber med sensorer og kunstig intelligens FFI. Han tror mattebakgrunnen hjalp i begrenset grad.

– Det handler nok mer om evnen til å systematisere og sette sammen informasjon fra ulike kilder, sier Rustad.

Han forteller at han var forsiktig med å være for bastant.

– Det er som kjent umulig å vite noe sikkert om fremtiden. Hvis du var skråsikker og bommet ble du straffet hardt i scoringssystemet i prediksjonsturneringen. Ellers gjaldt det å få litt oversikt, se på statistikk fra tidligere hendelser og tenke på erfaringer fra sammenlignbare hendelser. Alle spørsmålene kom med en forklaring og litt statistikk eller bakgrunnsinformasjon. Jeg gikk som regel videre for å hente inn mer informasjon før jeg svarte.

Rustad mener han underveis i turneringen lærte mye om hvordan det var lurt å svare for å få god score.

– Det hjalp på resultatet at jeg var med og svarte på spørsmål hele veien fra start til slutt. Og så passet jeg på å lese spørsmålene nøye for å forstå hva de innebar. Hva var det egentlig det ble spurt om? De var ganske spesifikt stilt, men det var nok mulig å misforstå noen av spørsmålene hvis man ikke leste dem nøye.

Referanse:

Alexander William Beadl: FFIs prediksjonsturnering – datagrunnlag og foreløpige resultater. FFI-RAPPORT 2022.

Artikkelen er produsert og finansiert av Forsvarets forskningsinstitutt

FFI er én av 77 eiere av forskning.no. Deres kommunikasjonsansatte leverer innhold til forskning.no. Vi merker dette innholdet for å tydelig skille formidling fra uavhengig redaksjonelt stoff.
Her kan du lese mer om ordningen.

Les også disse sakene fra FFI:

• 

  Han vil lære undervannsroboter å frykte døden

• 

  Forskere bygde verdens største felle for å finne ut hva hvalen hører

• 

  Hvordan overlever en pilot som styrter på Nordpolen?

• 

  Frivillige organisasjoner kan yte mye i totalforsvaret

• 

  Beredskap: En løk kan forklare hvordan vi kan få til billigere beskyttelse

• 

  Dette kan gi bedre skuddsikre vester og sikrere militære kjøretøyer

Les flere saker fra Forsvarets forskningsinstitutt her.

forskning.no vil gjerne høre fra deg!
Har du en tilbakemelding, spørsmål, ros eller kritikk? TA KONTAKT HER