Randomiserte og kvasieksperimentelle studier i den statlige forvaltningen: en kartlegging
Rapport
|Publisert
Folkehelseinstituttet fikk i oppdrag å koordinere en kartlegging av hvordan relevante statlige etater bruker randomiserte studier (RCTer) og kvasieksperimentelle metoder for å gjøre virkemiddelbruken mer kunnskapsbasert. Kartleggingen tar sikte på å avdekke styrker og svakheter ved å bruke slike evalueringsmetoder, og hva som fremmer og hindrer bruken av dem.
Hovedbudskap
De fleste etatene som bidro til denne kartleggingen, har gjennomført eller anskaffet randomiserte og kvasieksperimentelle studier. Eksempler på tiltak som er blitt evaluert ved hjelp av slike metoder er organisatoriske, pedagogiske og økonomiske virkemidler.
Tett dialog mellom fagetater, departement og politisk ledelse har bidratt til bedre effektevalueringer. Potensialet er stort for å dele kunnskap mellom sektorer om hvordan effektevalueringer kan forberedes og gjennomføres. Flere etater erfarer imidlertid politisk tilbøyelighet til storskala iverksetting av virkemidler framfor gradvis innføring som er nødvendig for å kunne evaluere effekter ved hjelpe av randomiserte eller kvasieksperimentelle metoder.
Randomiserte og kvasieksperimentelle studier møter mange juridiske, etiske, politiske og praktiske utfordringer, og de kan være ressurskrevende. Flere etater påpeker behovet for bedre tilrettelagt lovgivning for effektstudier, med tydeligere kriterier for a) når forskjellsbehandling kan være forsvarlig, b) når det kan gis unntak fra kravet om informert samtykke, og c) håndtering av personvern i forbindelse med datatilgang.
Sammendrag
Bakgrunn og prosess
I tildelingsbrevet for 2023 fikk Folkehelseinstituttet (FHI) i oppdrag å koordinere en kartlegging av hvordan relevante statlige etater bruker randomiserte studier (RCTer) og kvasieksperimentelle metoder for å gjøre virkemiddelbruken mer kunnskapsbasert. Kartleggingen tar sikte på å avdekke styrker og svakheter ved å bruke slike evalueringsmetoder, og hva som fremmer og hindrer bruken av dem. Kartleggingen omfatter i hovedsak Barne-, ungdoms- og familiedirektoratet (Bufdir), NAV, Direktoratet for Utviklingssamarbeid (Norad), Skatteetaten, Utdanningsdirektoratet (Udir) og FHI.
Hovedfunn
Etatene som har deltatt i denne undersøkelsen påpeker at randomiserte og kvasieksperimentelle studier har styrker og svakheter som påvirker i hvilken grad metodene gir pålitelige konklusjoner. Det vises til at i RCTer gjøres fordelingen til tiltaks- og kontrollgrupper tilfeldig, som minimerer systematiske forskjeller mellom de som mottar og ikke mottar tiltaket. Dermed kan det trekkes pålitelige konklusjoner om at observerte forskjeller mellom gruppene skyldes virkningen av tiltaket som blir studert. Samtidig understrekes det at kvasieksperimentelle metoder også kan gi gyldige effektestimater gitt visse forutsetninger, som variasjon i iverksettelse av virkemiddelet, og tilgang til detaljerte data og datakoblinger.
En av de største metodiske utfordringene ved RCTer er at resultatene ikke nødvendigvis er overførbare utenfor den sammenhengen der studien ble gjennomført. Etatene har også erfart at effekten av et tiltak rettet mot grupper (f.eks. skoler eller kommuner) kan «smitte» mellom tiltaks- og kontrollgruppene, og dermed gi misvisende resultater. Den viktigste metodiske svakheten ved kvasieksperimentelle studier er faren for at resultatene er påvirket av systematiske skjevheter (bias) pga. andre forskjeller mellom gruppene enn det aktuelle tiltaket.
De fleste etatene som har bidratt til kartleggingen har erfaringer med å gjennomføre eller anskaffe randomiserte og kvasieksperimentelle studier. Organisatoriske, pedagogiske og økonomiske virkemidler, samt virkemidler for offentlig myndighetsutøvelse (f.eks. tiltak for å øke etterlevelsen av lover og regler) har blitt evaluert med disse metodene. Hvor mange studier etatene anslo å ha gjennomført i løpet av de siste fem årene varierte fra 1-5 studier til over 15. Forvaltningsorganene som har gjennomført over 15 er de som stort sett utformer og gjennomfører studier selv.
Etatene rapporterer mange av de samme utfordringene for gjennomføring av RCTer og kvasieksperimentelle studier. Det gjelder bl.a. datagrunnlag og politisk aksept for gradvis utrulling og forskjellsbehandling når virkemidler iverksettes. I noen tilfeller er det spesifikke utfordringer knyttet til en av metodene. Det gjelder spesielt gjennomføring av RCTer, som ofte støter på juridiske, etiske og praktiske utfordringer. En betydelig praktisk utfordring, særlig for mange RCTer, er oppnåelse av tilstrekkelig statistisk styrke. Kvasieksperimentelle studier er ofte mer gjennomførbare, noe som understreker viktigheten av å betrakte disse metodene som supplerende tilnærminger.
For begge metodene er tilgang til registerdata og kobling av registre fremtredende utfordringer. Godt gjennomførte kvasieksperimentelle studier forutsetter ofte detaljerte data og omfattende datakoblinger. Mange slike studier forhindres av at det er tidkrevende og vanskelig å få tilgang til slike data. Når spørreundersøkelser benyttes som datagrunnlag er utilstrekkelig oppslutning et vanlig problem. Videre er fravær av sammenlignbare og presise mål for effekt også en utfordring, spesielt dersom det er manglende hyppighet og kontinuitet i målingene som benyttes og eksisterende datakilder er ufullstendige eller ikke utviklet for forskningsformål.
Juridiske utfordringer inkluderer
- krav om informert samtykke som kan bety at befolkningsrettede studier er umulige å gjennomføre
- at studier der deltakerne blir fordelt i to grupper som behandles forskjellig kan komme i konflikt med prinsipper om likebehandling og lovbestemmelser som beskytter grunnleggende rettigheter og tjenester
- sektorspesifikke utfordringer som forhindrer finansiering eller praktisk gjennomføring av effektevalueringer
Etiske hensyn inkluderer
- motstand mot å ikke tilby kontrollgruppen et tiltak som forventes å ha positive virkninger
- at studier kan innebære uforholdsmessig risiko eller byrde for deltakerne
- innvendinger mot studier der deltakerne ikke har mulighet til å trekke sin deltakelse, enten fordi de ikke er klar over at de deltar i en studie, eller fordi det ikke er praktisk mulig å trekke seg
Forskningsetiske vurderinger av ett og samme virkemiddel blir for øyeblikket vurdert ulikt, avhengig av hvilket lovverk som kommer til anvendelse, f.eks. når det gjelder krav om informert samtykke. Tydeligere juridiske og etiske rammer er nødvendig for å kunne avveie samfunnsnytten av å gjennomføre en studie opp mot risiko, byrder og personvernhensyn.
Politiske utfordringer inkluderer
- beslutningstagernes ønske om å utvise handlekraft, som ikke gir tid og rom for grundige effektevalueringer før et virkemiddel iverksettes i stor skala
- behovet for økt politisk forståelse for at systematisk utprøving i form av randomiserte eller kvasieksperimentelle studier kan være et viktig verktøy for å redusere usikkerheten rundt effekten av et virkemiddel
- politiske prosesser, f.eks. regjeringsendringer, budsjettforlik og politiske vedtak, som kan endre konteksten virkemiddelet testes i, og innebære at kontrollgruppene blir eksponert for tiltaket som blir evaluert
Planlegging og gjennomføring av flere og bedre effektevalueringer kan skje gjennom tett dialog mellom fagetater, departementer og forskningsmiljøer. Informasjons- og holdningsarbeid kan bidra til å skape større tverrpolitisk aksept for tidsavgrenset, systematisk og gradvis – og om mulig, randomisert – utrulling av reformer og virkemidler.
Tverrpolitisk enighet kan også fremme langsiktig finansering for større forskningssatsninger som kan gi kunnskap om myndighetenes politikk og virkemiddelbruk. Kartleggingen fremhever positive eksempler, som LÆREEFFEKT-programmet finansiert av Forskningsrådet, og Kompetanseprogrammet som ledes av Direktoratet for høyere utdanning og kompetanse, hvor innsats og ressurser er prioritert for systematisk utprøving av virkemidler.
For RCTer spesielt gjelder også andre utfordringer av praktisk, økonomisk og psykologisk art, som
- at gjennomføring i komplekse organisasjoner og tjenester kan være praktisk utfordrende for personalet ute i tjenestene, og kan påvirke vanlig drift
- at studiene ofte er kostnadskrevende
- skepsis blant tjenesteytere og i befolkningen mot forskningsstudier som innebærer en forskjellsbehandling mellom de som får og de som ikke får tiltaket
Kostnaden ved å gjennomføre randomiserte og kvasieksperimentelle studier bør vurderes opp mot besparelsene som oppnås ved å unngå å iverksette tiltak med usikker effekt. Medvirkning av dem som berøres av studien, som undervisningspersonale, helsepersonell, saksbehandlere eller befolkningen generelt, er nødvendig for å skape aksept for en tidsavgrenset forskjellsbehandling som kan bidra til mer og bedre kunnskap om effekten av virkemidler. God medvirkning støttet av implementeringsstudier kan bidra til at evalueringer ikke medfører uforholdsmessig byrde for de berørte tjenestene. Bruk av tilgjengelig infrastruktur, f.eks. nasjonale registre, kan gjøre studier mer administrativt og praktisk gjennomførbare.
For å begrense bruk av ressurser på studier som det ikke kan trekkes pålitelige konklusjoner fra, er det viktig at planleggingsfasen omfatter et godt utredet kunnskapsgrunnlag, og at det legges vekt på høy vitenskapelig standard. Dette innebærer f.eks. utvikling og forhåndsregistrering av protokoller med pre-spesifiserte analyser, i tråd med internasjonale retningslinjer. Videre er det viktig at det investeres i utvikling av datakilder og at det gis mulighet for tilgang til, og sammenkobling av disse.
Kompetansen som ønskes for å gjennomføre flere effektevalueringer varierer mellom forvaltningsorganene, men på to områder var de samstemte: For det første trengs mer kunnskap om forskningsmetodikk, inkludert utforming av effektstudier. For det andre er mer juridisk kompetanse nødvendig for å forstå gjeldende regelverk, avklare rettslige rammer og for å kunne utnytte handlingsrommet som regelverket gir.
Konklusjoner
Kartleggingen har identifisert flere eksempler på hvordan tett dialog mellom fagetater, departement og politisk ledelse har tilrettelagt for bedre effektevalueringer. Potensialet er stort for å dele kunnskap mellom sektorer om hvordan effektevalueringer kan forberedes og gjennomføres. Flere etater erfarer imidlertid politisk tilbøyelighet til å rulle ut programmer med usikker effekt i stor skala heller enn gradvis innføring som kan tilrettelegge for effektevaluering med randomiserte eller kvasieksperimentelle metoder, før eventuell oppskalering.
Randomiserte og kvasieksperimentelle studier møter mange juridiske, etiske, politiske og praktiske utfordringer, og de kan være ressurskrevende. For mange virkemidler er det mer gjennomførbart med kvasieksperimentell evaluering enn en RCT. For å oppnå troverdige resultater med kvasieksperimentelle metoder må flere forutsetninger være oppfylt, inkludert variasjon i implementeringen av virkemiddelet, tilgang på detaljerte data og større datakoblinger, og solid metodekompetanse. Flere etater påpeker behovet for bedre tilrettelagt lovgivning for effektstudier, med tydeligere kriterier for a) når forskjellsbehandling kan være forsvarlig, b) når det kan gis unntak fra kravet om informert samtykke, og c) håndtering av personvern i forbindelse med datatilgang.
En større politisk aksept for systematisk, gradvis og – om mulig – randomisert, utrulling av reformer vil kunne tilrettelegge for bedring læring om virkemidlenes effekt. Dette vil kunne føre til en mer effektiv og målrettet politikkutforming og øke sjansene for at virkemidlene faktisk fører til ønsket effekt, og at uvirksomme virkemidler prioriteres vekk.
