Hopp til innhold

Valgte elementer er lagt i handlekurven

Gå til handlekurv
Artikkel

Kva skal til for å gjera ei god effektevaluering?

Ei forskingsbasert effektevaluering gjer svar på om eit tiltak har hatt effekt på eit helseutfall eller ein risikofaktor.

Voksen og barn
Scanpix.no

Hopp til innhold

I slike tilfelle må ein gjere målingar av helseutfallet/risikofaktoren/-ane blant dei som har blitt utsatt for tiltaket, og samanlikne med målingar blant dei som ikkje har blitt utsatt for tiltaket.

Det er ein stor fordel å gjennomføre målingar i førekant av innføringa av tiltaket, eller ha tilgang til andre data som gjev opplysningar om stoda på det tidspunktet. I mange tilfelle vil ei god løysing vera å samanlikne utviklinga over tid i den kommunen/dei kommunane som har blitt utsatt for tiltaket med utviklinga i andre kommunar som ikkje har blitt det. 

Døme: Tiltak for å auke inntaket av grønsaker 

Dersom nokre kommunar blir samde om setje i verk tiltak for å auke inntaket av grønsaker til dønmes, og ynskjer å vite noko om effekten, bør desse kommunane måle inntaket av grønsaker i befolkninga – eller eit tilfeldig utval av befolkninga – før tiltaket startar. Deretter bør det gjerast målingar blant dei same menneska etter at tiltaket er gjennomførd.

Ei eventuell auke i grønsaksinntaket over tid kan tyde på at tiltaket har hatt effekt, men det treng nødvendigvis ikkje vera tilfelle. Auken kan også skuldast andre tiltak som befolkninga er blitt utsett for i same periode (slik som ein nasjonal informasjonskampanje), eller det kan ha vore generelle endringar i kunnskapar, haldningar, prisar eller kjøpekraft.

Derfor bør inntaket av grønsaker også bli målt i andre kommunar, slik at ein kan samanlikne inntaket før og etter tiltaket mellom folk i kommunar som har blitt eksponert for det, og dei som ikkje har blitt eksponert (kontrollgruppe). Kanskje det også har vore ei auke i dei andre kommunane.  I det høvet er det rimeleg å tolke ein ekstra auke i inntaket av grønsaker i dei kommunane der tiltaket er sett i verk, som ein effekt av tiltaket.

Figuren nedanfor skildrar tre ulike dømer på korleis utviklinga kan gå i kommunar med og utan tiltak når ein måler desse før og etter at tiltaket er gjennomførd.       

Diagram
Folkehelseinstituttet

Det kan likevel tenkjast at det er noko særskilt med dei kommunane som har sett i verk tiltaket som gjer at dei uansett ville ha opplevd ein sterkare auke i inntaket av grønsaker.

Har dei til dømes hatt ei ekstra stor inntektsauke som gjer at folk i større grad kjøper grønsaker?

Kanskje kommunane er styrt av dyktige folk som tek initiativ til gode folkehelsetiltak og legg til rette for arbeidsplassar som gjev god økonomisk utvikling?

Ein kan ta omsyn til slike faktorar som kan tenkjast å påverke utfallet ved å måle dei kjenneteikna ved folk eller kommunar som ein kan tenkje seg kan ein ha ein slik innverknad - i dette tilfelle inntekt – både før og etter tiltaket, både i tiltakskommunane og i kommunar der tiltaket ikkje er sett i verk. 

(God) effektevaluering gjennom samarbeid på tvers av kommunar 

Eit godt opplegg for å gjennomføre effektevaluering i kommunar vil derfor vera at dette vert gjort i samarbeid mellom fleire kommunar etter følgjande lest:

-  Ein del kommunar har identifisert dei same utfordringane og blir samde om å prøve ut eit tiltak.

-  Kommunane avtalar seg imellom at nokre gjennomfører tiltaket fyrst, mens dei andre eventuelt gjennomfører tiltaket seinare.

-  I alle kommunane vert det gjennomført målingar av utfallsmålet (t.d. inntak av grønsaker) før innføringa av tiltaket og andre kjenneteikn ved individa (alle i kommunen, eller eit tilfeldig utval). Eventuelt kan det også gjerast målingar av kjenneteikn ved kommunane som kan endra seg over tid og påverke utfallet, til dømes talet på matbutikkar, for å kontrollere for påverknadsfaktorar på kommunenivå. 

-  Tilsvarande målingar for dei same menneska og kommunar vert gjort etter at tiltaket er gjennomført.    

Dessverre er det uråd å få målt og kontrollert for alle tilhøve som er knytt til igangsetjing og gjennomføring av eit tiltak, og som kan ha innverknad på det utfallet ein ynskjer å studere. Dette problemet kan delvis løysast ved at ein trekkjer tilfeldig kva kommunar som skal setje i gang tiltaket. Dersom det er mange kommunar som er med i analysen og kommunane er trekt tilfeldig, er det også mindre nødvendig å måle grønsaksforbruket før igangsetjing og andre relevante forhold på det tidspunktet eller seinare.

Ein kan få eit rimeleg mål på effekten av tiltaket berre ved å samanlikne kommunane etter tiltaket, fordi det i utgangspunktet ikkje skal vera nokon skilnad mellom kommunane ved ei perfekt «randomisering».

Det er likevel ein god strategi å ta omsyn til ein del andre kjenneteikn for sikkerheits skuld. Dette vil dessutan gjere at ein reduserer usikkerheita i den eventuelle effektstorleiken ein finn. 

Andre variantar av dette opplegget 

Ein anna variant av eit evalueringsopplegg er at ein ikkje gjer målingar før og etter tiltaket for dei same personane, men at ulike menneske i kommunen inngår i målingane før og etter tiltaket.

Skal ein t.d. finne ut om eit tiltak blant mødrer til nyfødde gjer det mindre sannsynleg at barna har hol i tenna tre år etterpå, har det inga hensikt å måle om dei nyfødde born har hol før tiltaket sidan ingen av dei har tenner. I staden kan ein då gjera ein analyse på

  1. observasjonar blant tre-åringar i kommunen når tiltaket startar (undersøkje om dei har hol) 
  2. observasjonar ved treårsalderen blant dei som er omfatta av tiltaket, eller som ville ha vore det viss dei hadde budd i tiltakskommunen (altså minst tre år etter at tiltaket starta)

I dette døme vil det vera nødvendig at det også vert gjort målingar av karakteristika ved mødrene eller familiane.  

Endå ein variant er at ein  berre ser på situasjonen etter at tiltaket er gjennomførd som ein «observasjon» som skal inngå i analysen, men at denne observasjonen inneheld opplysningar om forhistoria. Ein analyser då t.d. korleis grønsaksinntaket på sluttidspunktet for tiltaket er avhengig av om personen har blitt utsett for tiltaket, samstundes med at det vert teke omsyn til inntekt og ein del andre tilhøve på det tidspunktet, samt grønsaksinntaket og ein del andre kjenneteikn ved denne personen (ikkje nødvendigvis dei same kjenneteikna som målt seinare) før tiltaket startar. 

Datamaterialet må vere tilstrekkeleg stort for kunne avdekke eventuelle effektar 

Storleiken på datamaterialet betyr mykje for kor stor usikkerheita i estimata blir og om ein vil kunne konkludere med at tiltaket har effekt.

Ofte har ein ei oppfatning av kor stor effekten bør vera for at den skal vera viktig eller interessant. Dersom det i røynda er ein effekt på denne storleiken, ynskjer ein dernest å ha eit stort nok datamateriale (t.d. nok deltakarar) til at det er sannsynleg at ein vil kunne sjå denne effekten. Derfor er det viktig at ein før tiltaket vert sett ut i livet gjer såkalla statistiske styrkeberekingar slik at ein veit omtrent kor mange deltakarar ein treng.

Er datamaterialet for lite, risikerer ein å ikkje avdekke effektar som faktisk finst og at ein såleis kan ha kasta bort ressursar på ei evaluering som viser seg å få liten verdi.      

Strukturelle og individretta tiltak 

Nokre tiltak går ut på å endre tilhøve ved kommunen som kan påverke heile befolkninga i kommunen (t.d. lovgjeving, bygging av symjehall osb.).

Slike strukturelle tiltak vil av og til vera kombinert med at einskilde personar vert gjeve informasjon eller visse fordelar (t.d. kupongar til bruk ved helsesenter eller frikort til symjehallen). Dersom det berre er snakk om sistnemnde type tiltak, som det er vanleg å kalle individretta tiltak, kan dette evaluerast ved at berre eit mindre utval i befolkninga får tiltaket medan andre får det seinare.

I somme tilfelle kan det vera at tiltaket berre vert gjennomført i undergrupper av befolkninga, til dømes småbarnsfamiliar eller personar med låg inntekt eller  innvandrarbakgrunn. I slike tilfelle kan ein trekkje ut eller velje dei personane innanfor desse gruppene som skal delta i tiltaket, medan andre må vente. Å utsetje tiltak er sjølvsagt ikkje alltid mogleg i praksis, og dette kan også by på etiske utfordringar.  

«Smitte»-effektar 

I somme tilfelle kan det vera ei utfordring at ein ikkje kan sikre seg at det berre er den utvalde målgruppa som faktisk får tiltaket. Dersom det er snakk om eit informasjonstiltak retta til befolkninga i ein kommune gjennom bruk av media, vil tiltak lett kunne nå befolkninga i andre kommunar også.

Består tiltaket av å senke prisane på grønsaker i ein kommune, kan det hende at folk frå nabokommunen tek turen over kommunegrensa for å handle.  Dermed blir også folk utanfor tiltakskommunen påverka av tiltaket. Dette vil vera eit problem dersom befolkninga i nabokommunen deltek i målingane for dei som ikkje reknast som eksponert for tiltaket.  

Ein må derfor i planlegginga av evalueringar leggje til rette for at ein unngår slike moglege «smitte»-effektar. 

Andre vegar å gå 

Det er også andre moglege opplegg for evaluering som kan gjennomførast. I slike tilfelle vil det vera meir usikkerheit knytt til resultata.

Til dømes kan ein gjere målingar berre for dei kommunane eller personane som har vert utsett for tiltaket, men fleire enn to målingar over tid. Ideen er då at utviklinga over tid før tiltaket vart sett i gang, gjev ein peikepinn om korleis utviklinga hadde gått vidare om ikkje tiltaka hadde blitt gjennomført. Dersom det til dømes var ein svak auke i grønsaksinntaket gjennom ti år før ein gjennomfører tiltak som skal auka inntaket av grønsaker i befolkninga i ein kommune, og det så skjer ei mykje kraftigare auke i dei to åra tiltaka har gått føre seg, kan den ekstra auken tolkast som ein effekt av tiltaket.

Utfordringa med denne metoden er at den kraftige auken også kan skuldast forhold i landet som påverka alle kommunar, og ikkje tiltaket som kommunen tilfeldigvis sette i verk samstundes.