Mennesker med synshemninger ønsker seg ofte bedre digitale hjelpemidler for å finne fram, spesielt i ukjente omgivelser.

Nå har forsker Bineeth Kuriakose funnet en praktisk og rimelig løsning med bruk av kunstig intelligens og sensorer i smarttelefoner.

Kuriakose så først nærmere på navigasjonsverktøy som allerede er utviklet for personer med synshemming. Han fant ut at de ofte ikke er spesielt brukbare.

Uhåndterlige løsninger

Mange av dem er avhengige av små datamaskiner på størrelse med kredittkort. Eksempel på dette er Raspberry Pi. Andre krever integrasjon med bærbare datamaskiner. Alle disse er ganske uhåndterlige for brukerne.

De krever ofte lang opplæringstid. De er heller ikke bærbare nok for utendørs bruk.

Ofte er det nødvendig med en aktiv internettforbindelse. Det gjør dem uegnet i områder med begrenset tilkobling, som garasjer og kjellere.

De fleste moderne systemer er dessuten avhengige av ressurser i den digitale skyen. Det gir forsinkelse i databehandlingen som hindrer navigasjon i sanntid. Det er en kritisk faktor når hvert sekund teller.

Mange av disse systemene prioriterer teknologi framfor å håndtere de praktiske utfordringene brukerne står overfor når de skal navigere.

Bedre og rimeligere med kunstig intelligens og smarttelefoner

Den raske utviklingen av kunstig intelligens og stadig mer datakraft i smarttelefoner gjør det derimot mulig å utvikle mye mer brukbare løsninger.

– Denne kombinasjonen av ny teknologi kan effektivt brukes til å utvikle en navigasjonsassistent for personer med synshemming, forteller Kuriakose. 

Da kan løsningen også gjøres tilgjengelig for mange flere.

Statistikk fra Verdens helseorganisasjon (WHO) understreker omfanget av problemet. 200 millioner mennesker med nedsatt syn mangler tilgang til teknologiske hjelpemidler.

WHO har engasjert seg i å bedre tilgangen til rimelig hjelpeteknologi av god kvalitet for alle, overalt. 

Derfor vil et rimelig og brukervennlig navigasjonssystem være av stor betydning. 

Målet til Kuriakose har vært å gi synshemmede mulighet til å navigere uten hjelp av andre. Dette skal de kunne gjøre ved å utnytte det siste innen teknologisk innovasjon. Spesielt innen kunstig intelligens og sensorer i smarttelefoner.

Navigasjon på smarttelefonen

Dyp læring er en type kunstig intelligens. Den etterligner måten mennesker tar til seg kunnskap på.

Kuriakose samarbeidet tett med synshemmede personer og designet og utviklet DeepNAVI. Det er en navigasjonsassistent basert på dyplæring på smarttelefonen. Den kan hjelpe mennesker med synshemninger å finne fram. På den måten blir de mindre avhengige av andre.

Navigasjonsassistenten læres opp til å oppfatte vanlige hindringer og utveier som blinde og svaksynte kan møte på.

Ved å bruke modeller for dyplæring identifiserer DeepNAVI hindringer i sanntid og utnytter kunstig intelligens i smarttelefoner.

Den bruker sensorer i smarttelefonen til å gi detaljert informasjon om hindringer. Det inkluderer avstand, posisjon og bevegelse.

Systemet lærte også å gjenkjenne ulike scener, for eksempel et kjøkken, et kontor, en garasje eller en gate. Slik kan systemet hjelpe brukeren med å identifisere scenen i miljøet.

Kuriakose forklarer:

– Systemet vi utviklet, kan fortelle deg hva slags hindringer som er foran deg og hvor langt unna de er. Eller om noe beveger seg eller ikke, og om det er til høyre eller venstre for deg.

DeepNAVI kan enkelt installeres som en app på Android-telefoner. Med smarttelefonen sikkert plassert i en vest fanger den opp sanntidsvideo av omgivelsene og sender tilbakemelding til brukeren gjennom trådløse øretelefoner.

Brukertesting med personer med synshemming ga positive tilbakemeldinger om brukervennlighet. Den var lett å bære med seg og var effektiv i bruk.

Kuriakose fant gjennom sin forskning at en smarttelefon alene kan brukes som assistent for å hjelpe personer med synshemming å navigere. Det vil si uten å bruke noen ekstra sensorer, ekstra enheter eller eksterne datanettverk.

Brukerens behov må stå i fokus

Forskningen viser også at dersom brukernes behov og preferanser prioriteres, kan en navigasjonsassistent bli mer tilgjengelig og brukervennlig. Slik kan flere bruke den i hverdagen med letthet og trygghet.

– En fordel med vår løsning er at den ikke trenger å være koblet til internett, sier forskeren.

Han forteller at de under evalueringen spurte brukerne hvordan det føles å bruke DeepNAVI. Videre spurte de om de kan stole på en navigasjonsassistent og hva de foretrekker: DeepNAVI alene, en hvit stokk alene eller DeepNAVI og hvit stokk i kombinasjon?

Flertallet svarte at de foretrekker kombinasjonen av DeepNAVI sammen med hvit stokk.

De la til at de enda ikke stoler på å bruke en smarttelefonassistent alene til navigering i offentlige miljøer.

Imidlertid erkjente de at dette kan endre seg i fremtiden. Tilliten til å bruke DeepNAVI alene kan vokse med bruk og kjennskap, gitt dens evne til å gi mer omfattende informasjon om miljøet.

Mer kontroll til brukerne kan gjøre det mer brukbart

Kuriakoses system er fram til nå en forskningsprototype. Kunnskapen han har oppnådd gjennom sitt arbeid, kan være nyttig for videre forskning på området.

Han har fått internasjonal anerkjennelse i form av to priser for god forskning.

– Vi må fortsatt gjøre noen forbedringer i systemet. Vi trenger også designere på grensesnitt som kan hjelpe til med å lage en fullt funksjonell og brukervennlig løsning på smarttelefonen.

Kuriakose forteller at de forventer at systemet kan forbedres ytterligere med de spennende fremskrittene innen kunstig intelligens og utviklingen av mer avanserte modeller for dyplæring.

– Planen er å gi brukerne større kontroll slik at de kan tilpasse systemet basert på egne preferanser for navigasjon og stiler. Dette vil gi brukerne mer fleksibilitet når de bruker DeepNAVI, forklarer han.

En ekstra fordel er at den store utbredelsen av smarttelefoner kan gjøre denne teknologien tilgjengelig for en betydelig del av den blinde og svaksynte befolkningen uavhengig av økonomiske forhold.

Ved å fjerne behovet for et ekstra navigasjonshjelpemiddel kan enkeltpersoner stole på smarttelefonene sine som deres primære navigasjonsassistent. Det gjør det mye mer bekvemt.

Referanser:

Bineeth Kuriakose mfl.: DeepNAVI: A deep learning based smartphone navigation assistant for people with visual impairments. Expert Systems with Applications, 2023. Doi.org/10.1016/j.eswa.2022.118720

Bineeth Kuriakose mfl.: Exploring the User Experience of an AI-based Smartphone Navigation Assistant for People with Visual Impairments. CHItaly '23: Proceedings of the 15th Biannual Conference of the Italian SIGCHI Chapter, 2023. Sammendrag. Doi/10.1145/3605390.3605421

Bineeth Kuriakose mfl.: Turn Left Turn Right - Delving type and modality of instructions in navigation assistant systems for people with visual impairments. International Journal of Human-Computer Studies, 2023. Doi.org/10.1016/j.ijhcs.2023.103098

Bineeth Kuriakose mfl.: SceneRecog: A Deep Learning Scene Recognition Model for Assisting Blind and Visually Impaired Navigate using Smartphones. IEEE International Conference on Systems, Man, and Cybernetics (SMC), 2021. Sammendrag.  

Artikkelen er produsert og finansiert av OsloMet – storbyuniversitetet

OsloMet – storbyuniversitetet er én av over 80 eiere av forskning.no. Deres kommunikasjonsansatte leverer innhold til forskning.no. Vi merker dette innholdet for å tydelig skille formidling fra uavhengig redaksjonelt stoff.
Her kan du lese mer om ordningen.

Les også disse sakene fra OsloMet:

• 

  Hvordan kan vi begrense tapet av natur når vi bygger vindkraftverk?

• 

  Ikkje alle vil hjelpe sine gamle foreldre. Kvifor?

• 

  Borgerlønn førte ikke til at flere kom i jobb

• 

  Ny rapport: Store endringer i norske ungdommers fritid

• 

  Ny rapport: Nordmenn er mer skeptiske til Russland nå enn for to år siden

• 

  Gatehospitalet i Oslo: – Flere av vennene mine har valgt å dø her

Les flere saker laget av OsloMet

forskning.no vil gjerne høre fra deg!
Har du en tilbakemelding, spørsmål, ros eller kritikk? TA KONTAKT HER