Vurdere inkluderte studier
Publisert
Vi vurderer risiko for systematiske skjevheter i de inkluderte studiene ved hjelp av digitale verktøy.
Om denne fasen
|
Inn til denne fasen |
Inkluderte studier i fulltekst. |
|
Beskrivelse |
Vurdere kvalitet og risiko for systematiske skjevheter i de inkluderte studiene. |
|
Hvorfor denne fasen? |
Bedømme hvor pålitelig den tilgjengelige forskningen er før vi oppsummerer den. |
|
Ansvar |
Prosjektleder og minst én medarbeider til. |
|
Oppgaver |
Studier vurderes av to personer uavhengig av hverandre. |
|
Verktøy |
Sjekklister for vurdering av risiko for systematiske skjevheter og metodisk kvalitet. |
|
Leveranse |
Vurdering av metodisk kvalitet eller risiko for systematiske skjevheter i inkluderte studier. |
Vurdering av inkluderte studier
Vi vurderer risiko for systematiske skjevheter i de inkluderte studiene ved hjelp av digitale verktøy. To medarbeidere gjør disse vurderingene uavhengig av hverandre. Vi løser uenighet om vurderingene ved diskusjon eller ved å konferere med en tredje prosjektmedarbeider.
Etter at vi har sjekket alle identifiserte publikasjoner opp mot inklusjonskriteriene, vurderer vi hvordan de inkluderte studiene eller systematiske oversiktene er utført. Dette hjelper oss til å finne ut i hvilken grad vi kan stole på resultatene.
Tolkningen av en studie avhenger både av intern og ekstern validitet (gyldighet). Måten en undersøkelse om effekt er gjennomført på, påvirker vår tillit til at resultatet er kommet fram gjennom en god tilnærming til den sanne, underliggende effekten (intern validitet). Ekstern validitet er avhengig av om de personene, intervensjonene, sammenlikningene og utfallsmålene som er undersøkt i studien, er tilstrekkelig like det som er aktuelt i ordinær virksomhet i helsetjenesten til at vi har tillit til at resultatene er overførbare til vår virkelighet.
Når vi vurderer den interne validiteten, ser vi på om forskningsspørsmålet er besvart på en måte som gjør at resultatene er mest mulig fri for risiko for systematiske skjevheter (bias). Systematiske skjevheter er metodefeil som gir resultater som (systematisk) avviker fra «sannheten», f.eks. den sanne underliggende effekten av et tiltak. Systematiske skjevheter kan ved spørsmål om effekt føre til overestimering eller underestimering av den sanne effekten av et tiltak. Feilene kan være trivielle, eller de kan være så store at et tilsynelatende positivt funn helt og holdent skyldes en systematisk feil. Hver potensielle risiko for systematiske skjevheter kan ha forskjellige virkninger i forskjellige studier, eller for ulike utfallsmål i en enkelt studie. For eksempel er tilfeldig og skjult fordeling til tiltaks- og kontrollgruppe viktig for at sammenlikningen skal bli rettferdig (1).
Alle som forsker bør bruke metoder som best mulig beskytter mot risiko for ulike typer av systematiske skjevheter. Fordi det ikke alltid er tilfelle, forsøker vi å gjøre en vurdering av hvilke metodiske mangler/ mulige feilkilder som er i studien eller den systematiske oversikten, og i hvilken grad dette får innvirkning på vår tillit til resultatene.
I område for helsetjenesten i Folkehelseinstituttet bruker vi to ulike tilnærmingsmåter når vi vurderer de studiene eller systematiske oversiktene vi inkluderer. For systematiske oversikter kan vi vurdere den metodiske kvaliteten av oversikten, og vi kan vurdere risiko for systematiske skjevheter i resultatene. For primærstudier vurderer vi risiko for systematiske skjevheter i resultatene. Begrepet risiko for systematiske skjevheter er forskjellig fra begrepet kvalitet. Kvaliteten av en studie bestemmes av i hvilken grad forskerne utførte forskningsprosjektet i samsvar med en akseptert standard for hvordan studier bør utføres. En studie kan imidlertid være utført i samsvar med alle standarder, men likevel kan det være betydelig risiko for systematiske skjevheter i resultatet. Omvendt kan det også være kvalitetsmessige svakheter i studien som ikke nødvendigvis fører til risiko for systematiske skjevheter i resultatet.
Å vurdere systematiske oversikters metodiske kvalitet
Når vi vurderer den metodiske kvaliteten til systematiske oversikter benytter vi en sjekkliste som belyser ulike sider av hvordan den systematiske oversikten er utført. Vi ønsker å forsikre oss om at alle relevante studier er identifisert og inkludert, og at forfatterne har gjort en vurdering av risiko for systematiske skjevheter i de studiene de har inkludert. Vi kan vurdere metodisk kvalitet av systematiske oversikter av både randomiserte og ikke-randomiserte studier av effekt ved å bruke AMSTAR (A MeaSurement Tool to Assess systematic Reviews) 2 (2). Vi kan også vurdere risiko for systematiske skjevheter i resultatene fra systematiske oversikter ved å bruke ROBIS (Risk of Bias in Systematic Reviews) verktøyet (3). Vi kan bruke ROBIS for å vurdere systematiske oversikter både for spørsmål om effekt, årsak, prognose og diagnostikk.
To personer vurderer uavhengig av hverandre oversiktenes metodiske kvalitet eller risiko for systematiske skjevheter ved hjelp av en av disse sjekklistene. Vi klassifiserer den metodiske kvaliteten som høy, moderat, lav eller svært lav avhengig av hvor mange og hvilke av kriteriene i AMSTAR2 sjekklisten som er oppfylt. Risikoen for systematiske skjevheter klassifiserer vi som høy, lav eller uklar ved bruk av ROBIS.
I oppsummering av systematiske oversikter vurderer vi ikke selv kvaliteten eller risiko for systematiske skjevheter i primærstudiene som er inkludert i oversikten. Her bruker vi oversiktforfatternes vurderinger.
Å vurdere systematiske skjevheter i primærstudier
For vurdering av risiko for systematiske skjevheter i primærstudier fins det flere ulike typer sjekklister for ulike typer studiedesign.
Vurdering av risiko for systematiske skjevheter (risiko for bias) i randomiserte studier
For vurdering av risiko for systematiske skjevheter i randomiserte studier benytter vi versjon 1 eller 2 av Cochrane risk of bias verktøyet, kalt RoB 1 og ROB 2 (4, 5). RoB 1 og RoB 2 er beskrevet i The Cochrane Handbook for Systematic Reviews of Interventions (4, 5). RoB 1 er et litt enklere verktøy, og vi kan gjerne bruke RoB 1 når det finnes gode begrunnelser. RevMan er foreløpig satt opp til å bruke RoB 1. Disse verktøyene eller sjekklistene inneholder et sett av kriterier som vi bruker for å gjøre en kritisk vurdering av kjente kilder for systematiske skjevheter i randomiserte studier.
Med RoB 2 vurderer vi fem ulike områder eller domener av systematiske skjevheter som kan påvirke resultatene i randomiserte studier. Det er systematiske skjevheter knyttet til
- randomiseringsprosessen
- avvik fra planlagte intervensjoner/tiltak
- frafall/manglende utfallsmålinger
- måling av utfall
- utvelging av utfall som rapporteres
RoB 2 verktøyet inneholder spørsmål for hvert område som skal gi støtte i vurderingen. Svaralternativene er
- Ja
- Sannsynligvis ja
- Sannsynligvis nei
- Nei
- Ingen informasjon
RoB 2 gir veiledning om hvordan svarene på spørsmålene leder til en vurdering av risiko for systematiske skjevheter for hver kategori: lav, moderat, høy. Så vurderes risiko for systematiske skjevheter for hvert av de viktige utfallene, på tvers av domenene (5).
|
Tabell 1. Vurdering av risiko for systematiske skjevheter (bias), på tvers av domenene i RoB2 (5) . |
|
|
Overall risk-of-bias judgement |
Criteria |
|
Low risk of bias |
The trial is judged to be at low risk of bias for all domains for this result. |
|
Some concerns |
The trial is judged to raise some concerns in at least one domain for this result, but not to be at high risk of bias for any domain. |
|
High risk of bias |
The trial is judged to be at high risk of bias in at least one domain for this result. Or The trial is judged to have some concerns for multiple domains in a way that substantially lowers confidence in the result. |
Risikoen for systematiske skjevheter bør vurderes for hvert enkelt resultat eller grupper av resultater. Dette forutsetter en betydelig grad av innsikt i forskningsmetode, god bruk av relevante sjekklister i tillegg til bruk av skjønn. To personer gjør denne vurderingen uavhengig av hverandre.
Slik kan vi vurdere informasjon om risiko for systematiske skjevheter for resultatet for det enkelte utfallsmålet som en mulig forklaring på at forskjellige studier eventuelt har ulike resultater. Hvis ulike resultater i studiene henger sammen med risikoen for systematiske skjevheter, kan vi bruke informasjon ved å vise resultatene for studiene med høy, moderat eller lav risiko hver for seg i tillegg til et samlet effektestimat, og ved å legge større vekt på studier med lavere risiko for systematiske skjevheter.
I hvert prosjekt er det nødvendig å vurdere om det er andre forhold enn de som er nevnt i sjekklistene, som vi bør vurdere i tillegg. Sjekklister vi bruker for å vurdere risiko for systematiske skjevheter i primærstudier, finnes som vedlegg til metodeboken. Tabell 2 viser fremgangsmåten for å vurdere risiko for systematiske skjevheter etter RoB 1 (4).
|
Tabell 2. Vurdering av systematiske skjevheter ved RoB1 (4). |
||
|
Domain |
Support for judgement |
Review authors’ judgement |
|
Selection bias |
||
|
Random sequence generation |
Describe the method used to generate the allocation sequence in sufficient detail to allow an assessment of whether it should produce comparable groups. |
Selection bias (biased allocation to interventions) due to inadequate generation of a randomized sequence. |
|
Allocation concealment |
Describe the method used to conceal the allocation sequence in sufficient detail to determine whether intervention allocations could have been foreseen in advance of, or during, enrolment. |
Selection bias (biased allocation to interventions) due to inadequate concealment of allocations prior to assignment. |
|
Performance bias |
||
|
Blinding of participants and personnel Assessments should be made for each main outcome (or class of outcomes). |
Describe all measures used, if any, to blind study participants and personnel from knowledge of which intervention a participant received. Provide any information relating to whether the intended blinding was effective. |
Performance bias due to knowledge of the allocated interventions by participants and personnel during the study. |
|
Detection bias |
||
|
Blinding of outcome assessment Assessments should be made for each main outcome (or class of outcomes). |
Describe all measures used, if any, to blind outcome assessors from knowledge of which intervention a participant received. Provide any information relating to whether the intended blinding was effective. |
Detection bias due to knowledge of the allocated interventions by outcome assessors. |
|
Attrition bias |
||
|
Incomplete outcome data Assessments should be made for each main outcome (or class of outcomes). |
Describe the completeness of outcome data for each main outcome, including attrition and exclusions from the analysis. State whether attrition and exclusions were reported, the numbers in each intervention group (compared with total randomized participants), reasons for attrition/exclusions where reported, and any re-inclusions in analyses performed by the review authors. |
Attrition bias due to amount, nature or handling of incomplete outcome data. |
|
Reporting bias |
||
|
Selective reporting |
State how the possibility of selective outcome reporting was examined by the review authors, and what was found. |
Reporting bias due to selective outcome reporting. |
|
Other bias |
||
|
Other sources of bias |
State any important concerns about bias not addressed in the other domains in the tool.
If particular questions/entries were pre-specified in the review’s protocol, responses should be provided for each question/entry. |
Bias due to problems not covered elsewhere in the table. |
Samlet vurdering av risiko for systematiske skjevheter
Hensikten med å vurdere risiko for systematiske skjevheter for resultatene for hvert utfallsmål eller hver gruppe av utfallsmål, er å angi hvilken tillit vi har til resultatene. Vi gjør en slik samlet vurdering etter at vi ved hjelp av sjekklisten har undersøkt risiko for systematiske skjevheter på tvers av de ulike domenene i hver enkelt studie. Vi bruker kategoriene lav, uklar/moderat eller høy risiko for systematiske skjevheter. I Cochrane Handbook (4) eksemplifiseres dette som beskrevet nedenfor i Tabell 3.
|
Tabell 3. Mulig tilnærming for å oppsummere vurderinger av risiko for systematiske skjevheter (bias) for hvert utfall på tvers av studier (4). 8.7.a: Possible approach for summary assessments of the risk of bias for each important outcome (across domains) within and across studies |
|||
|
Risk of bias |
Interpretation |
Within a study |
Across studies |
|
Low risk of bias. |
Plausible bias unlikely to seriously alter the results. |
Low risk of bias for all key domains. |
Most information is from studies at low risk of bias. |
|
Unclear risk of bias. |
Plausible bias that raises some doubt about the results. |
Unclear risk of bias for one or more key domains. |
Most information is from studies at low or unclear risk of bias. |
|
High risk of bias. |
Plausible bias that seriously weakens confidence in the results. |
High risk of bias for one or more key domains. |
The proportion of information from studies at high risk of bias is sufficient to affect the interpretation of results. |
Vurdering av risiko for systematiske skjevheter i ikke-randomiserte studier
Vi bruker ROBINS-I (6) når vi har et spørsmål om effekt av tiltak og vurderer studier med annet design enn randomiserte studier. Når det finnes gode begrunnelser er det også mulig å bruke andre sjekklister som for eksempel Newcastle-Ottawa Scale (7) eller EPOC-sjekklisten (8).