Denne artikkelen er produsert og finansiert av Nasjonalt senter for e-helseforskning - les mer.
Det er vanskelig å finne ut om helseapper er effektive eller brukervennlige fordi forskerne vurderer dem ulikt. Dillys Larbi og kollegene vil rydde i kriteriene.
(Foto: Lene Lundberg)
Hvordan vet vi at en diabetesapp virker?
Svaret er at det er nesten umulig å vite, fordi apper vurderes på ulike måter. Noen forskere har begynt på ryddejobben.
Stadig flere mobilapper og nettressurser for mennesker med diabetes kommer på markedet.
Studier har vist at de som bruker apper og annen teknologi, ofte får helsegevinster på kort og lang sikt. Pasienter får mer kunnskap om egen helse, for eksempel om årsakene til svingninger i blodsukker og om kosthold. Dermed kan de mestre sykdommen bedre.
Noen deler dataene sine med legen, som gjør at behandlingen bedre kan tilpasses.
Men for å finne ut om en mobilapp gir positiv effekt for pasienten må appen evalueres. Spørsmålet er hvordan appen bør evalueres.
– Her er forskerne definitivt ikke enige. De bruker ulike metoder og kriterier, som gjør at det er vanskelig å sammenlikne appene. Noen forskere er opptatt av hva personer synes om å bruke appen generelt, brukervennlighet, med mer. Andre ser på det kliniske, om de kan se endringer for helsa.
Det sier rådgiver Dillys Larbi ved Nasjonalt senter for e-helseforskning.
Hun og kollegene har gjort en systematisk gjennomgang av 31 vitenskapelige publikasjoner fra 2015 til 2018, som beskriver evaluering av diabetesapper og nettressurser. Artikkelen ble nylig publisert i tidsskriftet Journal of Medical Internet Research (JMIR).
Målet er å lage brukervennlig informasjon over kriterier for hvordan vurdere effekt av apper og nettressurser for personer med diabetes i Norge.
Involverte ikke alltid pasientene
De 31 internasjonale studiene hadde hentet inn svar fra totalt 3689 personer. En av tingene Larbi og kollegene ville finne ut var om pasientene ble involvert i evalueringen. Hvordan syntes pasientene det var å bruke teknologien, og hva de satte mest pris på?
- Det hadde forskerne i liten grad spurt brukerne om. Men dette er svært viktig. Det er jo pasientene som bruker teknologien og kjenner sin sykdom. Deres meninger om verktøyene må komme tydeligere fram i forskning og utviklingsarbeid. Pasientene bør ikke bare observeres av forskere, men også involveres, sier Larbi.
I tillegg til pasienter som utgjorde 12 prosent av de spurte, inkluderte studiene tilbakemeldinger fra helsepersonell (26 prosent), IT-utviklere (13 prosent), forskere (10 prosent), foreldre og andre familiemedlemmer (13 prosent) og andre som eksperter og uspesifiserte personer (26 prosent).
Over halvparten av studiene tok for seg diabetesapper. De øvrige studiene hadde evaluert nettsider eller annet innhold på internett.
I 68 prosent av studiene hadde forskerne brukt spørreskjema, mens de hadde gjennomført intervjuer og brukergruppemøter i de andre.
– Studiene hadde sett mest på kognitiv og klinisk påvirkning hos pasienter. I tillegg hentet de inn svar om brukervennlighet. Men pasienter var ikke spurt om å evaluere sikkerhet eller personvern, påpeker Larbi.
– Innbyggernes personvern er helt klart noe vi som forskere burde spørre brukerne om. Dette er kritiske kunnskapshull som vi må bidra til å fylle.
I gjennomgangen fant de også ut at forskerne nesten ikke var interessert i temaer som bærekraft og interoperabilitet, som betyr at produktets grensesnitt er fullstendig forstått, slik at det kan arbeide sammen med andre produkter eller systemer.
Sjekkliste fra WHO
I 2016 samlet WHO flere eksperter som ble enige om noen felles kriterier for å evaluere teknologiske verktøy. Dette samlet de i en sjekkliste for evaluering av mobilapper.
Kriteriene de kom fram til var:
- Bærekraft og skalerbarhet
- Tilgjengelig for alle brukere
- Evne til samhandling med andre IKT-løsninger
- Mulighet for tilpasning
- Mulighet for å gjenskape metode og utvikling
Dillys Larbi mener kriteriene fra WHO er et godt utgangspunkt.
– I tillegg må vi jobbe for å motvirke sosioøkonomiske helseforskjeller, og ta hensyn til at pasientenes kjønn kan spille en rolle når de benytter mobil teknologi. Vi trenger standardisering for at organisasjoner og individer som ønsker å bruke verktøyene kan forstå teknologien og ta den i bruk selv, sier hun.
Må mikse metodebruken
De fant også ut at teknologiekspertene la mest vekt på datasystemenes og enhetenes grensesnitt. Helseforskere på sin side ønsket å finne ut hva pasienter og helsepersonell syntes om teknologien og hva de fikk ut av å bruke den.
– Kliniske undersøkelser av pasientene var mest brukt for å finne ut hvilken effekt apper hadde. Forskerne brukte ofte standardiserte spørreskjemaer. Det er viktig å huske på at det finnes en rekke andre metoder for å forske på effekten av teknologibruk, sier Larbi.
Forskerne henter inn både kvantitative og kvalitative data. Det kan gi et mer fullstendig bilde av det de ønsker å finne svar på.
– Den beste måten å evaluere nytten av apper og nettressurser på er å involvere pasientene hele veien. I tillegg bør vi bruke både objektive og subjektive metoder for å grave dypt ned i hvert spørsmål.
– Da kan vi få en helhetlig oversikt over effekten og potensialet. Målet vårt er å bidra til bedre helsetjenester, og pasientene kan og bør bidra til utviklingen, sier Dillys Larbi.
Referanse:
Dillys Larbi mfl: Methods and Evaluation Criteria for Apps and Digital Interventions for Diabetes Self-Management: Systematic Review. J Med Internet Res. Juli 2020. DOI: 10.2196/18480
WHOs sjekkliste for evaluering av teknologiske verktøy: Classification of digital health interventions: a shared language to describe the uses of digital technology for health.
Les også disse artiklene fra Nasjonalt senter for e-helseforskning:
