Online-vurderinger – sammenheng med systematiske brukerundersøkelser og kliniske målinger?
Forskningskartlegging
|Sist endret
Rapporten identifiserer og beskriver vitenskapelige studier om sammenhengen mellom online-vurderinger og systematiske kvalitetsmålinger.
Hovedbudskap
Kunnskapssenteret gjennomførte høsten 2013 et prosjekt hvor målet var å identifisere og beskrive vitenskapelige studier om sammenhengen mellom online-vurderinger og systematiske kvalitetsmålinger, inkludert systematiske brukererfaringsundersøkelser og kliniske indikatorer. Formålet er å bidra til forskningsbasert kunnskap i debatten om nytten av online-vurderinger, som grunnlag for diskusjoner om, og i så fall hvordan, slike nettsteder kan bidra til økt brukerorientering av norsk helsetjeneste.
Det ble gjennomført et litteratursøk, som resulterte i 748 unike referanser. Tre av disse svarte nøyaktig på inklusjonskriteriene. Av disse var det to av artiklene som brukte data fra sykehus, mens én brukte data om allmennleger.
Oppsummert viser de tre studiene at det var en sammenheng mellom online-vurderinger og systematiske pasienterfaringsundersøkelser, men sammenhengen var svak til moderat (3, 8, 9). Sammenhengen mellom online-vurderinger og kliniske mål var svakere enn sammenhengen mellom online-vurderinger og systematiske brukerundersøkelser. Studiene viste også at majoriteten av vurderingene som gis på nettsider er positive, noe som vi gjenfant i våre enkle analyser av Legelisten.no.
Fordelene med online-vurderinger er at slike vurderinger er oppdaterte, lett tilgjengelige og raskt blir publisert. Et annet viktig moment er at online-vurderinger gir resultater på laveste nivå, fordi man kan hente frem vurderinger på den enkelte lege. Forskning viser at det er variasjon mellom leger, både når det gjelder klinisk kvalitet og brukererfaringer (20). I tillegg er denne måten å samle inn pasienterfaringer på kostnadsbesparende i forhold til tradisjonelle undersøkelser.
Det er imidlertid også mange svakheter med online-vurderinger. Den største er målemetoden som brukes. Metodikken i online-vurderinger ligger langt fra gullstandarden, fordi spørreskjemaene som brukes ikke er validerte og dataene verken er case-mix-justert eller vektet. Man har heller ikke kontroll på hvem som svarer, med påfølgende mulighet for seleksjonsskjevhet. I tillegg kan man påvirkes av andres vurderinger, da disse vil være godt synlige når man skal vurdere selv. I forskningsbaserte målinger er det en forutsetning at individene som svarer er uavhengige av hverandre. Videre er det ofte få vurderinger per lege. I vår enkle analyse av Legelisten.no varierte antall vurderinger fra én til 26. I en norsk studie viste det seg at man på mer enn 80 prosent av spørsmålene måtte ha mer enn 40 svarere per lege for å få en reliabilitet på legenivå på 0,7, et nivå som vil si at 70 prosent av variasjonen mellom legene er reell og 30 prosent relatert til målefeil (21). Det er med andre ord et stort gap mellom antall svarere som er nødvendig på slike nettsteder for å få tilfredsstillende reliabilitet, og hva som er den faktiske situasjonen.
Vi konkluderer med at de tre studiene viste at online-vurderinger har svak til moderat korrelasjon med systematiske brukerundersøkelser, og svak korrelasjon med kliniske resultatmål. Ettersom det kun ble identifisert tre relevante studier er det behov for mer forskning. Nettsider bør suppleres med resultater fra systematiske brukerundersøkelser og andre kvalitetsmålinger for å gi et riktigst mulig bilde av kvaliteten på helsetjenester på lavt nivå, slik det for eksempel gjøres på NHS Choices. Det har vært en stor vekst av nettsider internasjonalt, og man må forvente ytterligere ekspansjon både internasjonalt og i Norge i tiden framover.
Sammendrag
Innledning
I løpet av det siste tiåret har det vært en stor økning av nettsider hvor pasienter kan vurdere ulike helsetjenester (online-vurderinger), kvantitativt og/eller kvalitativt. Online-vurderinger har ikke samme forskningsmessige basis som systematiske brukererfaringsundersøkelser, og har blitt kritisert fra ulike hold. Nasjonalt kunnskapssenter for helsetjenesten (Kunnskapssenteret) gjennomførte i 2013 et prosjekt hvor målet var å identifisere og beskrive vitenskapelige studier om sammenhengen mellom online-vurderinger og systematiske kvalitetsmålinger, inkludert systematiske brukererfaringsundersøkelser og kliniske indikatorer. Formålet er å bidra til forskningsbasert kunnskap i debatten om nytten av online-vurderinger, som grunnlag for diskusjoner om, og i så fall hvordan, slike nettsteder kan bidra til økt brukerorientering av norsk helsetjeneste.
Metode
Vi søkte systematisk etter litteratur i følgende databaser:
• OVID Embase 1974 – august 2013
• OVID Medline in-process & other non-indexed 1946 – august 2013
• OVID Medline 1946 – august 2013
• OVID PsycINFO 1987 – august 2013
I tillegg søkte vi i Google og PubMed. Vi søkte også i referanselister til relevante artikler for å utfylle litteratursøket.
Resultater
Søket resulterte i 748 referanser, hvorav 28 ble vurdert for inklusjon og 3 av disse ble vurdert som relevante ut fra inklusjonskriteriene.
Oppsummert viser de tre studiene at det var en sammenheng mellom online-vurderinger og systematiske pasienterfaringsundersøkelser, men sammenhengen var svak til moderat. Sammenhengen mellom online-vurderinger og kliniske mål var svakere enn sammenhengen mellom online-vurderinger og systematiske brukerundersøkelser.
Konklusjon
Vi konkluderer med at de tre studiene viste at online-vurderinger har svak til moderat korrelasjon med systematiske brukerundersøkelser, og svak korrelasjon med kliniske resultatmål. Ettersom det kun ble identifisert tre relevante studier er det behov for mer forskning. Online-vurderinger bør suppleres med resultater fra systematiske brukerundersøkelser og andre kvalitetsmålinger for å gi et riktigst mulig bilde av kvaliteten på helsetjenester på lavt nivå. Det har vært en stor vekst av online-vurderinger internasjonalt, og man må forvente ytterligere ekspansjon både internasjonalt og i Norge i tiden framover.