Kva skal til for å gjera ei god effektevaluering?
Artikkel
|Oppdatert
Ei forskingsbasert effektevaluering gjer svar på om eit tiltak har hatt effekt på eit helseutfall eller ein risikofaktor.
For å dokumentere effekt av tiltak må ein utføra målingar av helseutfallet eller risikofaktoren/risikofaktorane blant dei som har blitt utsett for tiltaket, og samanlikna med målingar blant dei som ikkje har blitt utsett for tiltaket. Dei som ikkje blir utsett for tiltaket er i kontrollgruppa.
Det er ein stor fordel å utføre målingar i førekant av innføringa av tiltaket. Eventuelt kan ein bruke andre data som gjev opplysningar om status på det tidspunktet dersom ein har tilgang til dette. I mange tilfelle vil ei god løysing vera å samanlikne utviklinga over tid i den kommunen eller dei kommunane som har blitt utsett for tiltaket med utviklinga i andre kommunar som ikkje har blitt det.
Eit døme: Tiltak for å auke inntaket av grønsaker
Ein kan sjå for seg eit tiltak kor ein ynskjer å auke inntaket av grønsaker blant innbyggjarane, til dømes gjennom subsidieordningar på grønsakene. Dersom fleire kommunar blir einige om setje i verk tiltaket , og ynskjer å vite noko om effekten, bør desse kommunane måle inntaket av grønsaker i befolkninga før tiltaket startar. Det er ikkje naudsynt å måle inntaket at grønsaker blant alle innbyggarane, men ta utgangspunkt i eit tilfeldig, representativt utval av befolkninga. Deretter bør det gjerast målingar blant det same utvalet etter at tiltaket er gjennomførd.
Ei eventuell auke i grønsaksinntaket over tid kan tyde på at tiltaket har hatt effekt, men det treng nødvendigvis ikkje vera tilfelle. Auken kan også skuldast andre tiltak som befolkninga er blitt utsett for i same periode, for eksempel dersom det samstundes er ein nasjonal informasjonskampanje. Auken i inntak av grønt kan også skuldas generelle endringar i kunnskap, haldning, pris eller kjøpekraft. Ein bør difor måla inntaket av grønsaker også i andre kommunar. Slik kan ein samanlikne inntaket før og etter tiltaket mellom folk i kommunar som har blitt eksponert for tiltaket (intervensjonsgruppa), og dei som ikkje har blitt eksponert (kontrollgruppa). Dersom det også har vore ei auke i dei andre kommunane er det rimeleg å tolke ein ekstra auke i inntaket av grønsaker i dei kommunane der tiltaket er sett i verk, som ein effekt av tiltaket.
Figuren nedanfor skildrar tre ulike dømer på korleis utviklinga kan gå i kommunar med og utan tiltak når ein måler desse før og etter at tiltaket er gjennomført.
Det kan likevel tenkast at det er noko særskilt med dei kommunane som har sett i verk tiltaket som gjer at dei uansett ville ha opplevd ein sterkare auke i inntaket av grønsaker. Har dei til dømes hatt ei ekstra stor inntektsauke som gjer at folk i større grad kjøper grønsaker? Kanskje kommunane er styrt av dyktige folk som tek initiativ til gode folkehelsetiltak?
Ein kan ta omsyn til faktorar som kan tenkjast å påverke utfallet ved å måle dei kjenneteikna ved folk eller kommunar som ein kan tenkje seg kan ein ha ein slik innverknad, i dette tilfelle inntekt, både før og etter tiltaket, både i tiltakskommunane og i kommunar der tiltaket ikkje er sett i verk.
God effektevaluering gjennom samarbeid på tvers av kommunar
Eit godt opplegg for å gjennomføre effektevaluering i kommunar vil derfor vera at dette vert gjort i samarbeid mellom fleire kommunar etter følgjande framgangsmåte:
- Ein del kommunar har identifisert dei same utfordringane og blir samde om å prøve ut eit tiltak.
- Kommunane avtalar seg imellom at nokre gjennomfører tiltaket fyrst. Dei andre gjennomfører eventuelt tiltaket seinare.
- I alle kommunane vert det utført målingar av utfallsmålet, inntak av grønsaker,før innføringa av tiltaket og andre kjenneteikn ved individa. Dette kan gjerast for alle innbyggarane i kommunen, eller eit tilfeldig utval. Alternativt kan det også gjerast målingar av kjenneteikn ved kommunane som kan endra seg over tid og påverke utfallet. For eksempel kan ein fylje med på talet på matbutikkar for å kontrollere for påverknadsfaktorar på kommunenivå.
- Tilsvarande målingar for dei same individa og kommunar vert gjort etter at tiltaket er gjennomført.
Det er uråd å få målt og kontrollert for alle tilhøve som er knytt til igangsetjing og gjennomføring av eit tiltak, og som kan ha innverknad på det utfallet ein ynskjer å studere. Dette problemet kan delvis løysast ved at ein trekkjer tilfeldig kva kommunar som skal setje i gang tiltaket. Dette blir kalla å randomisere. Dersom det er mange kommunar som er med i analysen og kommunane er randomisert er det også mindre nødvendig å måle grønsaksforbruket før igangsetjing
Ein kan få eit rimeleg mål på effekten av tiltaket berre ved å samanlikne kommunane etter innføring av tiltaket. Dette fordi det i utgangspunktet ikkje skal vera nokon skilnad mellom kommunane ved ei perfekt randomisering. Det er likevel ein god strategi å ta omsyn til ein del andre kjenneteikn for sikkerheits skuld. Dette vil dessutan gjere at ein reduserar usikkerheita i den eventuelle effektstorleiken ein finn.
Andre evalueringsvariantar
Ein anna variant av eit evalueringsopplegg er at ein ikkje gjer målingar før og etter tiltaket for dei same personane, men at ulike innbyggarar går inn i målingane før og etter tiltaket.
Skal ein til dømes finne ut om eit tiltak blant mødrer til nyfødde gjer det mindre sannsynleg at barna har hol i tenna tre år seinare, har det inga hensikt å måle om nyfødde born har hol før tiltaket sidan ingen av dei har tenner. I staden kan ein då gjera ein analyse på
- observasjonar blant tre-åringar i kommunen når tiltaket startar (undersøkje om dei har hol)
- observasjonar ved treårsalderen blant dei som er omfatta av tiltaket, eller som ville ha vore det viss dei hadde budd i tiltakskommunen (altså minst tre år etter at tiltaket starta)
I dette døme vil det vera nødvendig at det også vert gjort målingar av karakteristikk ved mødrene eller familiane.
Endå ein variant er at ein berre ser på situasjonen etter at tiltaket er gjennomført som ein «observasjon» som skal gå inn i analysen. Denne observasjonen inneheld då berre opplysningar om forhistoria. Ein analyser då til dømes korleis grønsaksinntaket på sluttidspunktet for tiltaket er avhengig av om personen har blitt utsett for tiltaket. Samstundes vert det teke omsyn til inntekt og ein del andre tilhøve på det tidspunktet, inkludert grønsaksinntaket og ein del andre kjenneteikn ved denne personen før tiltaket startar. Desse kjenneteikna er ikkje nødvendigvis dei same kjenneteikna som målt seinare .
Datamaterialet må vere stort nok for å stadfeste eventuelle effektar
Storleiken på datamaterialet betyr mykje for kor robuste resultata blir og om ein vil kunne konkludere med at tiltaket har effekt.
Ofte har ein ei oppfatning av kor stor effekten bør vera for at den skal vera viktig eller interessant. Dersom det i sanning er ein effekt på denne storleiken, ynskjer ein dernest å ha eit stort nok datamateriale (t.d. nok deltakarar) til at det er sannsynleg at ein vil kunne sjå denne effekten. Derfor er det viktig at ein gjer såkalla statistiske styrkeutrekningar før tiltaket vert sett ut i livet. Styrkeutrekninga skal gje svar på kor mange deltakarar ein treng. Er datamaterialet for lite, risikerer ein å ikkje avdekke effektar som faktisk finst og at ein såleis kan ha kasta bort ressursar på ei evaluering som viser seg å få liten verdi.
Strukturelle og individretta tiltak
Nokre tiltak, såkalla strukturelle, går ut på å endre tilhøve ved kommunen som kan påverke alle innbyggarane i kommunen. Eksempel på slike tiltak kan vera gjennom lovgjeving, bygging av symjehall og likande. Slike strukturelle tiltak vil av og til vera kombinert med at einskilde personar vert gjeve informasjon eller visse fordelar. Eksempel på fordelar kan vera kupongar til bruk ved helsesenter eller frikort til symjehallen. Slike tiltak kallar ein ofte individretta tiltak. Individretta tiltak kan evaluerast ved at berre eit mindre utval av innbyggjarane startar med tiltaket medan andre får det seinare.
I somme tilfelle vert tiltaket berre gjennomført i undergrupper av befolkninga, til dømes blant småbarnsfamiliar, personar med låg inntekt eller personar med innvandrarbakgrunn. I slike tilfelle kan ein trekkje ut (randomisere) eller velje dei personane innanfor desse gruppene som skal starte med tiltaket, medan andre må vente. Å utsetje tiltak er sjølvsagt ikkje alltid mogleg i praksis, og dette kan også by på etiske utfordringar.
Smitte-effekt
I somme tilfelle kan det vera ei utfordring at ein ikkje kan sikre seg at det berre er den utvalde målgruppa som faktisk får tiltaket. Dersom det er snakk om eit informasjonstiltak retta til innbyggjarane i ein kommune gjennom bruk av media, vil tiltak lett kunne nå innbyggjarane i andre kommunar også.
Dersom tiltaket dreiar seg om å senke prisane på grønsaker i ein kommune, kan det hende at folk frå nabokommunen tek turen over kommunegrensa for å handle. Dermed blir også folk utanfor tiltakskommunen påverka av tiltaket. Dette vil vera eit problem dersom befolkninga i nabokommunen deltek i målingane for dei som ikkje reknast som eksponert for tiltaket.
Ein må derfor leggje til rette for at ein unngår slike moglege «smitte»-effektar når ein planlegg evalueringa.
Andre vegar å gå
Det er også andre moglege opplegg for evaluering som kan gjennomførast. Til dømes kan ein gjere målingar berre for dei kommunane eller personane som har blitt utsett for tiltaket. Dette krev at ein fyljer intervensjonsgruppa over tid, og utfører minst to målingar. Ideen er då at utviklinga over tid før tiltaket vart sett i gang, gjev ein peikepinn om korleis utviklinga hadde gått vidare om ikkje tiltaka hadde blitt gjennomført. Dersom det til dømes var ein svak auke i grønsaksinntaket gjennom ti år før ein gjennomfører tiltak retta mot grønsaksinntak, og det så skjer ei mykje kraftigare auke i dei to åra tiltaka har gått føre seg, kan den ekstra auken tolkast som ein effekt av tiltaket.
Utfordringa med denne metoden er at den kraftige auken også kan skuldast forhold i landet som påverka alle kommunar, og ikkje tiltaket som kommunen tilfeldigvis sette i verk samstundes.
