For å avgjøre om en endring gir en reell, positiv effekt bør man gjennomføre og analysere resultatene av en pilotundersøkelse ved å bruke statistiske metoder. Uheldige konsekvenser av en pilotundersøkelse vil være mindre dramatiske fordi bare en liten andel av befolkningen er berørt.

Salting av veier og fartsgrenser

5. november 2003 meldte Aftenposten at “Høyere fart er en suksess”. Overskriften oppsummerte at forsøkene med fartsgrense på 100 km/t på enkelte veistrekninger ga færre ulykker. I artikkelen står det at “Vegdirektoratet konstaterer altså at ulykkesfrekvensen er gått ned, selv om direktoratet i rapporten mener dette kan skyldes tilfeldigheter”. Forsøkene viste med andre ord at ulykkesfrekvensen ikke klart gikk ned.

Det har vært hevdet at salting av veier fører til mindre svevestøv og bedre luftkvalitet. For å underbygge at preventiv salting hjelper, bør man pilotteste for å bekrefte ønsket effekt. Slik testing er vanskelig. Ulike typer salt reagerer forskjellig på ulike føreforhold og været, og trafikkbildet varierer og endrer seg.

En samtidig endring av fartsgrenser (for eksempel innføring av miljøfartsgrenser) kan i verste fall umuliggjøre analyser av salting, fordi det kan være vanskelig å skille tiltakenes effekt fra hverandre. Derfor er det svært viktig å ha kontroll over bakgrunnsvariable som miljøfartsgrense, værforhold og trafikktetthet i en slik studie. Det forutsetter stor statistisk kunnskap å utføre slike studier på en god måte.

Eksempler fra det offentlige

Andre reformer som er, eller vurderes, innført er bompenger, prikkbelastning, rushtidsavgift, kvalitetsreformen ved universitetene, valget mellom baseskoler og vanlige klasser og klasserom, Reform 94 og 97 i skolen, flytting av statlig virksomhet til distriktene, sykehusreformen og NAV-reformen - sammenslåing av sosial-, trygde- og arbeidskontor.

Samtlige reformer er motivert av at beslutningstagerne mener at endringene vil ha en positiv effekt. Om reformen virkelig gir den tiltenkte effekten og om effekten er målbar er avhengig av hvordan man planlegger og utfører pilotforsøket.

Det er viktig å sørge for at effekten er målbar, ha en lang nok forsøksperiode og å gjennomføre en statistisk analyse av datagrunnlaget som samles inn. Et viktig prinsipp i slike forsøk er å ha en kontrollgruppe.

Det betyr at man gjør målinger også et sted der reformen ikke prøves ut for å ha tall man kan sammenligne reformeffekten med. Et annet sentralt moment er å ha stort nok utvalg. Reformen må prøves ut på mange nok enheter, for eksempel personer, veier eller skoler.

Konsekvenser

I noen tilfeller er det ikke mulig å gjennomføre en studie for å måle effekten av reformen fordi man ikke har tid eller ressurser. I slike tilfeller må man bruke eksperters subjektive mening eller informasjon om lignende reformer i utlandet.

Et reformprogram kan være et gigantisk eksperiment som berører store deler av befolkningen. Det er ikke gitt at effekten av eksperimentet i Norge vil være som eksperter hevder selv om samme type eksperiment har blitt gjennomført i andre land, sågar naboland. Andre kulturelle eller miljømessige forhold kan endre forutsetningene for at eksperimentet gir samme effekt.

Noen ganger innføres reformer som ikke er nødvendige strakstiltak, uten at man kjenner konsekvensene av reformen i form av målbare resultater. I slike tilfeller bør en studie bli gjennomført der alle spilleregler for god kvantitativ undersøkelse følges. I mange tilfeller er det ikke mulig å måle kvantitativt hva effekten av en endring er. Det bør gi desto større grunn til å tenke seg om.