Internasjonale erfaringer med lovpålagte krav til rutinemessig evaluering
Metodevurdering
|Oppdatert
En av statens viktigste oppgaver er å bidra til forbedringer i befolkningens helse og velferd. Til tross for det: I vår gjennomgang av internasjonale erfaringer fant vi kun fem eksempler på lover og regler med pålegg om rutinemessig evaluering av offentlige reformer og programmer.
Last ned
Hovedbudskap
En av statens viktigste oppgaver er å bidra til forbedringer i befolkningens helse og velferd. Til tross for det: I vår gjennomgang av internasjonale erfaringer fant vi kun fem eksempler på lover og regler med pålegg om rutinemessig evaluering av offentlige reformer og programmer. Dette kan tyde på at de fleste land og internasjonale organisasjoner ikke oppfyller sin politiske og etiske forpliktelse til rutinemessig å evaluere reformer og programmer – som grunnlag for beslutninger om hvordan ressurser best bør brukes for å oppnå vedtatte mål. Det er imidlertid mulig at eksisterende lover og regler ikke i tilstrekkelig grad gjenspeiler hvilken grad slike evalueringer faktisk blir gjennomført.
En rekke viktige lærdommer kan trekkes fra denne gjennomgangen av erfaringer med lovpålagt evaluering, blant annet:
- Vedtak av lover og regler for rutinemessig bruk av evaluering kan:
- Dra nytte av brede reformer (f.eks reformer med fokus på plassering av ansvar og større åpenhet)
- Bygge på eksisterende lover og regler og tidligere evalueringserfaringer
- Støttes av et bredt spekter aktører, blant annet riksrevisjon, finansdepartement, multilaterale organisasjoner og givere, lovgivende forsamlinger, og statsoverhoder
- Kobling av evaluering og monitorering til andre offentlige initiativ og institusjoner kan skape synergier i budsjettprosesser, og bidra til større grad av ansvarlighet og åpenhet, i et integrert og ikke overregulert system
- Iverksetting av et system for monitorering og evaluering går hånd i hånd med administrative reformer: Det gjør det mulig for dem med ansvar for monitorering og evaluering å møte informasjonsbehovet til beslutningstakerne, og å knytte monitorering og evaluering til beslutningsprosessene
- Det er viktig å være opptatt av hva programmene har ført til, for å identifisere de viktigste spørsmålene som må belyses i evalueringen (f.eks virkningene av programmet, og konsekvenser med tanke på sosial ulikhet), og for å gjøre det klart hva slags type dokumentasjon som trengs
- Én enhet bør få som sin oppgave å utføre uavhengige, objektive evalueringer av høy kvalitet. Enheten bør skjermes for påvirkning fra politiske grupperinger og interesseorganisasjoner
- En forutsetning for et troverdig monitorerings- og evalueringssystem er at det har tilgang til pålitelig og objektiv informasjon
- Det er viktig å både tillate fleksibilitet og stille krav
- Å informere publikum og engasjere et bredt spekter av interessenter i utforming av evalueringer og fortolkning av evalueringsresultater øker sannsynligheten for at spørsmålene som er viktige for disse gruppene inngår i evalueringene, at resultatene av evalueringene brukes på en hensiktsmessig måte og, i ytterste konsekvens, en styrking av demokratiske prinsipper
- Et fornuftig juridisk rammeverk og et godt utformet og finansiert evalueringssystem kan gi betydelige gevinst
- Risikoen for uønskede konsekvenser synes liten, men mulige problemer er for eksempel dårlig håndhevelse og for byråkratisk gjennomføring av regelverket
Lover og regler som innebærer pålegg om rutinemessig evaluering bør selv evalueres rutinemessig.
Sammendrag
Bakgrunn
Myndighetene er moralsk forpliktet til å fatte beslutninger på solid grunnlag, og rutinemessig evaluering av virkningene av offentlige reformer og programmer er nødvendig for å oppfylle denne forpliktelsen. En vurdering av potensielle virkninger bør utføres før programmer begynner, og det kan være behov for å evaluere de faktiske virkninger etter at tiltakene er iverksatt.
Mål
Formålet med denne gjennomgangen var å identifisere og lære av eksempler på lover og regler som pålegger rutinemessig evaluering av offentlige programmer.
Metoder
For å identifisere relevante eksempler benyttet vi oss av personlige og sosiale nettverk for å identifisere kontakter i så mange land og internasjonale organisasjoner som mulig. Vi søkte også etter aktuell litteratur i flere databaser. Eksempler på lovpålagt evaluering ble inkludert dersom følgende kriterier var oppfylt: lover eller retningslinjer som inneholder krav om en eksplisitt prosess eller klare kriterier for å avgjøre når evaluering skal foretas, eller lover eller regler som pålegger evaluering av alle programmer på et gitt tematisk område.
Resultater
Vi identifiserte fem tilfeller av lovpålagt evaluering som oppfylte våre inklusjonskriterier. Disse var fra Canada, Chile, Colombia, Mexico og USA. I ingen av disse eksemplene forelå det krav om rutinemessig bruk av systematiske oversikter av relevant forskning før iverksetting av nye programmer. Det var heller ingen av dem som fokuserte spesifikt på evaluering av virkninger (effektevaluering). Disse lovene og reglene dro fordel av pågående brede reformer som fokuserte på plassering av ansvar og økt åpenhet, baserte seg på eksisterende lov- og regelverk, og hadde et bredt spekter av støttespillere. Viktige styrker i lover og regler som påla evaluering var blant annet utstrakt bruk av informasjon i budsjetterings- og beslutningsprosesser, monitorering av framdrift mot politisk vedtatte mål, at sentrale aktører tok aktiv del i monitorerings- og evalueringsaktiviteter, uavhengig evaluering, og adekvat økonomisk støtte. Viktige svakheter som ble rapportert fra ett eller flere av landene var behov for større tydelighet når det gjaldt å avklare roller og ansvar, for få gjennomførte evalueringer, for stor grad av skjønnsmessig vurdering ved avgjørelser om hvilke programmer som skal evalueres, for dårlig tilgjengelighet og kvalitet på data, svake koplinger mellom evaluering og planleggings- og budsjettprosesser, og at resultatene fra evalueringene ble benyttet i for liten grad.
Konklusjoner
Mange land stiller krav om rutinemessig evaluering av offentlige programmer, for eksempel konsekvensutredninger og medisinske metodevurderinger (HTA). Men vi klarte bare å identifisere fem eksempler på lover og regler der evaluering inngikk som en integrert del av beslutninger om å iverksette politiske reformer og programmer. Selv om noen land rutinemessig bruker systematiske oversikter (for eksempel medisinsk metodevurdering), inngikk ikke dette i noen av eksemplene som inngår i vår gjennomgang. Eksemplene vi har identifisert kan tjene som utgangspunkt for planlegging av systemer som gjør det mulig for myndigheter å oppfylle sin politiske og etiske forpliktelse til å foreta velinformerte beslutninger. Detaljert planlegging er viktig for å utforme effektive systemer. Men, det er mennesker som utfører evalueringer og mennesker som avgjør om resultatene fra en evaluering brukes på en fornuftig måte, og om systemene fungerer. Selv om disse eksemplene på lovpålagt evaluering er tilpasset en bestemt kontekst, er det likevel mye å lære fra erfaringene som er gjort i disse landene. De fem eksemplene viser at et fornuftig juridisk rammeverk og et godt utformet evalueringssystem kan gi betydelige gevinster, og faren for uheldige virkninger ser ut til å være liten. Gitt det lave antallet tilfeller av lovpålagt evaluering som vi identifiserte, samt svakheter ved hvordan disse i seg selv er blitt evaluert, er det ikke mulig for oss å trekke bastante konklusjoner om nytten av slike lover og regler. Det samme gjelder tross alt her for som for andre vedtatte reformer og programmer: Det er behov for solide evalueringer – rutinemessig.