Formaliserte konsensusprosesser, veiledning ved vanskelige valg?
Rapport
|Oppdatert
I denne rapporten beskriver vi tre ulike varianter av konsensusprosesser og drøfter hva som kan være egnet for å velge indikatorer for pasientsikkerhet i Norge.
Hovedbudskap
Indikatorer er en kilde til kunnskap om pasientsikkerhet. Hvilke indikatorer man velger å benytte avgjør hvilket bilde som blir tegnet. Hvordan valg av indikatorer foregår og blir dokumentert er derfor viktig informasjon når man skal forstå og tolke det bilde som indikatorene gir.
Flere land og internasjonale organisasjoner benytter en eller annen form for formaliserte konsensusprosesser i utvikling og valg av kvalitetsindikatorer for helsetjenesten. I dette notatet ser vi nærmere på prinsippene bak konsensusprosesser og beskriver en amerikansk metode og to europeiske verktøy som er blitt brukt til dette formålet.
I Norge er det liten tradisjon for å benytte formaliserte konsensusprosesser for å dokumentere valg av indikatorer. Ved å bygge på de erfaringer som andre land og organisasjoner har gjort på dette feltet kan man ved relativt enkle midler ta dette verktøyet i bruk. Både ved utvikling av medisinske kvalitetsregister og nasjonale indikatorer kan konsensusprosesser benyttes. Det vil i første omgang medføre en del ekstra kostnader, men på sikt vil kunnskapsgrunnlaget bedres og en vil spare tid både ved utvikling og validering av indikatorer.
Dokumentasjonen av konsensusprosesser gir fyldig informasjon om den enkelte indikator og hvordan den blir vurdert av et fagmiljø. Styrker og svakheter ved indikatoren blir dokumentert og er viktig bakgrunnsinformasjon i fortolkning av indikatorer når den blir benyttet. Kostnader ved datainnsamling kan føre til at en indikator ikke velges, og er viktig informasjon når man skal forstå helheten av informasjon om et indikatorsett. Åpenhet om valg og konsekvensene av dem er et viktig ledd i å bedre forståelsen og nytten av kvalitetsindikatorer for helsetjenesten.
Notatet er et resultat av arbeidsgruppens arbeid, og anbefalingene er uttrykk for synspunktene til arbeidsgruppens medlemmer.
Sammendrag
Kunnskap om pasientsikkerhet kommer fra mange kilder. Pasientsikkerhetsindikatorer kan gi systematisk kunnskap om enkelte aspekt ved pasientsikkerhet. Når indikatorer skal velges for å måle pasientsikkerhet er det flere forhold som skal belyses: Hvordan velges indikatorene? Hvem velger hvilke indikatorer som skal benyttes? Hvilket krav til dokumentasjon skal det være i prosessene som fører fram til valget?
I dette notatet beskriver vi tre ulike varianter av konsensusprosesser og drøfter hva som kan være egnet for å velge indikatorer for pasientsikkerhet i Norge.
Standardisert konsensusprosess
Formaliserte konsensusprosesser kan kort beskrives som en tretrinns evalueringsprosess. Kjennetegn ved standardiserte konsensusprosesser er den systematiske tilnærmingen med klare krav til dokumentasjon av kunnskapsgrunnlaget, og hvilke kriterier som brukes i evalueringen og dokumentering av både prosess og resultat.
Først trinn i konsensusprosessen er å identifisere og framskaffe dokumentasjon for indikatoren. Det gjøres som regel av et fagmiljø med kompetanse på systematisk oppsummering og er en kritisk vurdering og sammenfatning av tilgjengelig litteratur. Konsensusprosesser inkluderer også studier som ikke tilfredsstiller de samme strenge krav til metode som systematiske kunnskapsoppsummeringer.
Et ekspertpanel vurderer dokumentasjonen med hensyn til validitet og antatt nytteverdi av indikatorene. Validitet og reliabilitet vurderes, i lag med tilgang på data. En eventuell rapporteringsbyrde må sees i sammenheng med nytteverdien. Denne vurderingen er andre trinn i prosessen.
Sammensetning av ekspertpanelet er viktig. En kan velge eksperter bare innenfor et medisinsk og helsefaglig område, men de fleste panel er bredere sammensatt med kliniske spesialister og faglige ressurspersoner fra flere fagområder.
Ekspertpanelet møtes sjelden ved den første evaluering av indikatorene. Paneldokumentene sendes til deltakerne med en forklaring av videre saksgang. Dokumentene skal inneholde litteraturgjennomgang, liste over indikatorer, definisjoner og instruksjoner. Vurderingen av kunnskapsgrunnlaget gjøres ved en spørreskjema -undersøkelse hvor indikatorene rangeres med hensyn til validitet som kvalitetsmål og mulighetene for å samle inn de data som er spesifisert i indikatoren.
Det tredje og siste trinnet i prosessen er å samle deltakerne i panelet for å gjennomføre en endelig evaluering. Først samles panelet, og resultatene av spørreskjema -undersøkelsen presenteres. Etter plenumsdiskusjoner rangerer ekspertpanelet tiltaket/indikatorene på nytt. Formålet med metodikken er ikke å framtvinge konsensus, men å dokumentere hva panelet er enig eller uenig om når det gjelder vurdering av indikatorene. Indikatorer som oppnår en gitt grad av oppslutning velges og indikatorer som det er klar uenighet om utelukkes.
En amerikansk metode og to europeiske verktøy
I denne rapporten gis en innføring i en amerikansk metode for konsensusprosess. Det er Rand/UCLA sin metodikk som blant annet er mye benyttet av Agency for Healthcare Research and Quality og den ligger også til grunn for gjennomføring av konsensusprosesser i National Quality Forum (NQF) i USA.
Deretter beskrives to europeiske verktøy, Stepwise Assessment Indicator Framework Approach (SAIFA ) som har vært benyttet i et pasientsikkerhetsprosjekt i EU, og Appraisal of Indicators through Research and Evaluation (AIRE) som er utviklet i Nederland. De to siste verktøyene er valgt ettersom de er laget spesifikt for indikatorvurdering.
Bruksområde
Innenfor helsetjenesteforskning og administrasjon er formaliserte konsensusprosesser benyttet når det foreligger manglende kunnskapsgrunnlag eller motstridende informasjon. Ved å benytte formaliserte konsensusprosesser får en dokumentert hva man er enig om og hva man er uenig om. Dokumentasjon om vurdering av datatilgang og validitet blir dokumentert og er dermed synlig for ettertiden.
Metodikken forutsetter et profesjonelt forarbeid av en tilrettelegger som administrerer og dokumenterer prosessene. Ulempen er at det er relativt tid- og ressurskrevende å gjennomføre formaliserte konsensusprosesser. Fordelen er at det ligger et systematisk og grundig arbeid til grunn for indikatorer som skal gi uttrykk for pasienter sikkerhet. Valget er dokumentert og synliggjør hvorfor noen aspekt måles og andre aspekt ikke er valgt. På grunn av de relativt store omkostningene er metodikken best egnet til bruk av indikatorer på overordnet nivå, nasjonalt eller internasjonalt.
En kan tenke seg forenklede versjoner benyttet på lokalt nivå. Det finnes etter hvert tilgjengelig dokumentasjon av indikatorer innen de fleste medisinske og helsefaglige fagområder. Ved å bruke kun eksisterende dokumentasjon som kunnskapsgrunnlag kan man gå rett på evalueringen av enkeltindikatorer. Ved utvikling av indikatorsett bør kunnskapsgrunnlaget kvalitetssikres best mulig.
Metodikken er her beskrevet for gjennomføring i relativt små ekspertpanel, men er i andre sammenhenger også benyttet i større skala. Bruk av store panel i konsensusprosesser er kanskje bedre egnet til å identifisere hvilke områder som bør monitoreres, enn vurdering av enkeltindikatorer/indikatorsett.
I Norge har det vært liten eller ingen tradisjon for å benytte formaliserte konsensusprosesser ved valg av indikatorer innenfor helsetjenesten. Ved å kombinere kunnskap om gjennomføring av konsensusprosesser etter Rand/UCLA-metoden, med skjema fra de to europeiske initiativene, ligger forholdene til rette for å dokumentere både utvikling og valg av kvalitetsindikatorer i Norge på en god måte.
Det er mye kunnskap om utvikling av kvalitetsindikatorer, og mindre om nytten av dem i utvikling og implementering i kvalitetsforbedringsstrategier. Ved å systematisk vurdere og kvalitetssikre indikatorer i forhold til den konteksten de skal benyttes i, tror vi at kvalitetsindikatorer er et nyttig bidrag i kvalitetsforbedringsprosesser.
Notatet er et resultat av arbeidsgruppens arbeid, og anbefalingene er uttrykk for synspunktene til arbeidsgruppens medlemmer.