Øyestyring gir Brage et språk

Brage snakker ved hjelp av øynene. Et språkverktøy har endret mye i livet hans. - Å satse på språkteknologi kan gi store gevinster både for den enkelte og samfunnet, sier forsker.
19.10 2011 05:00


Brage bruker øyestyrt kommunikasjon. Her er på Kleppe skole, der han går i 2. klasse. Når Brage flytter blikket mellom symboler, tall eller bokstaver, fanger kameraer refleksjoner av infrarødt lys, og finner ut hvor han har pupillene. Tale genereres når Brage vil si det han ser på.

Brage Victor Midtøy Nøttveit er sju år, og bor på Askøy utenfor Bergen.

Han har vært sterkt fysisk funksjonshemmet siden fødselen.

En nylig offentliggjort kartlegging viser at Norge henger etter engelsk på flere områder innen utvikling av språkteknologi.

Brage er derimot blant de heldige som kan bruke et avansert hjelpemiddel, øyestyrt kommunikasjon, på morsmålet.

- Å kunne bruke dette hjelpemiddelet har veldig mye å si for Brages muligheter nå og videre i livet, sier mamma Vibeke Midtøy til forskning.no

- Dessuten gjør det også hverdagen enklere for oss som familie, legger hun til.

- Kan gi store gevinster

Et hovedproblem for utvikling av avanserte hjelpemidler på norsk, er ofte manglende økonomisk finansiering.

- En satsing på språkteknologi kan gi både store gevinster for det enkelte menneske og for samfunnet som helhet, sier språkforsker Gunn Inger Lyse.

Lyse er en av fire fagfolk ved Universitetet i Bergen som har skrevet en ny kartlegging av språkteknologi i Norge.


 

Den heter Meta-Nord og er en del av et større europeisk prosjekt.

Demokratisk problem

Språkforskeren har overfor forskning.no karakterisert det som et demokratisk problem at grupper, som funksjonshemmede, innvandrere og kronisk syke, ikke kan delta på linje med andre i samfunnet.

Status i Norge preges av at det finnes mest av grunnleggende ressurser og verktøy.

En konsekvens vil være at personer ikke får uttrykt seg muntlig eller skriftlig så godt som de ønsker på norsk.

Det er ikke attraktivt å satse kommersielt på norsk, derfor vil man være avhengig av at offentlige myndigheter gir store bidrag, påpekes det i kartleggingen.

Følger ham over alt

Før måtte mamma Vibeke, pappa Rune og andre i mye større grad prøve å gjette seg til hva Brage prøvde å si.

- Frustrasjonene er blitt færre, nå er det definitivt lettere å forstå hverandre, sier Vibeke.

Brage er helt avhengig av rullestol, og har aldri vært i stand til å uttale ord med egen stemme. Hjernen er derimot klar, og heldigvis er det ingenting i veien med synet.

Det åpnet muligheten for øyestyrt kommunikasjon gjennom et verktøy som kalles Tobii. Verktøyet har vært Brages følgesvenn over alt i et drøyt års tid nå.


Slik ser en av skjermene på det øyestyrte verktøyet Tobii ut. Vokabularsystemet, samlingen og orgnaiseringen av språklige elementer og ytringer som Brage bruker for å kommunisere, er utviklet av firmaet me too.

Brage har en rekke forskjellige menyer med symboler på en dataskjerm foran seg, eksempelvis en knapp for ”jeg har lyst til å…”. Så finnes alternativer under denne igjen.

Sender ut infrarødt lys

Ved hjelp av infrarøde stråler som sendes ut like under skjermbildet, blir pupillenes bevegelser registrert av kameraer.

Brage navigerer altså med øynene mellom symboler, bostaver og tall. Tale genereres av datamaskinen når han vil si noe.

Med noen tilpasninger følger 7-åringen undervisningen sammen med de andre elevene i 2. klasse på Kleppe skole.

- Mer samarbeid

Det finnes altså lyspunkter, som i tilfellet med Brage, men Norge er generelt ingen språkteknologisk rakett.

Norsk henger tvert  imot etter engelsk på flere områder innen utvikling av teknologi på dette feltet, viser resultater fra Meta-Nord.

Det norske bidraget er en del av en større kartlegging der EU vil vite mer om status i sine medlemsland.

Bergensforskerne viser blant annet at funksjonshemmede må snakke engelsk til dataverktøyene sine, fordi de mangler gode nok versjoner på norsk.

- Kan bli flinkere formidlere

Da Lyse og kolleger jobbet med sin kartlegging, var de i kontakt med en rekke bedrifter som utvikler språkteknologi selv, eller som kan tenkes å integrere andres språkteknologi i sine eksisterende produkter.

- Det var slik vi fant ut at Tobii Technology Norge trengte ressursen vi satt på for å utvikle Brages verktøy videre.


Gunn Inger Lyse.

  - Det er snakk om et ordleksikon som ble utviklet i Bergen i forbindelse med et prosjekt om stavekontroll, og som nå blir gjenbrukt av Tobii, forteller Lyse.

Ordleksikonet er i praksis en samling bøyde former av alle oppslagsord, som substantiver, adjektiver og verb. Det rommer også preposisjoner og pronomen.

- Vi som er forskere kan bli flinkere til å fortelle om resultatene våre, slik at bedriftene vet hvilke språkressurser som finnes der ute, ved siden av de Språkbanken har, sier Lyse.

Kunnskap om ressurser

Liten kunnskap om tilgjengelige språkressurser er nettopp blant faktorene, utover økonomisk finansiering, som har betydning for videre utvikling på feltet.

Opprettes det kontakt mellom forskningsmiljøer og næringsliv, kan det bidra til å gjøre eksisterende ressurser mer kjent.

– Mer samarbeid mellom forskere og næringsliv trengs på dette feltet, mener Lyse.

- Helt avgjørende

Daglig leder Ole Alexander Mæhle i Tobii Technology Norge støtter tanken om mer samarbeid mellom forskere og nærimngsliv på språkteknologi-feltet.

Han sier at framgangen de har hatt med språkverktøyet til Brage, betinger at det finnes forskningsmiljøer som gjør slike arbeider som UiB-fagfolk har gjort med ordleksikonet.


Ole Alexander Mæhle.

- For oss var språkdataene fra universitetet egentlig helt avgjørende for å komme skikkelig videre med språkteknologidelen i det øyestyrte verktøyet, sier Mæhle.

Han mener det er for mye å forlange at norske firmaer for egen regning skal opparbeide store språkressurser på norsk.

 - Hadde ikke dette skjedd, måtte vi belaget oss på en veldig kostnads- og tidkrevende etablering av en tilsvarende samling med ord, sier Mæhle.

- Norsk språk favner om et lite marked, så vi er avhengige av forskergrupper som samler inn og tilrettelegger den type data vi fikk tilgang på fra UiB, sier Mæhle.

Øke språkforståelsen

Den daglige lederen opplyser at det som ligger nærmest i videre utvikling nå, er å inkludere de nye språkdataene.

Da vil Brage og andre brukere kunne få mange flere tilgjengelige former og bøyninger av ord.

- Brage har for eksempel ett symbol for å spise. Etter hvert som han øker språkforståelsen, vil han kunne bruke mange flere varianter av dette og andre verb, i nåtid og fortid.

- Setningene vil bli mer presise og grammatikalsk riktige, takket være ordleksikonet vi har fått fra UiB, sier Mæhle.


 

UiB-forsker Lyse synes ikke det er merkelig at bedrifter ofte ikke tar sjansen på å bygge opp store norske språkressurser, fordi det er snakk om store investeringer.

- Skal du dekke hele det norske språket, er det like omfattende som engelsk, der språkressursene er langt flere.

- Derfor vil det være en stor fordel for næringslivet å samarbeide mer med forskningsmiljøene om utviking av språkverktøy, sier hun.

I gang med alfabetet

Brages klasse er denne høsten godt i gang med alfabetet. Da forskning.no kom innom jobbet de seg gjennom ord med bokstaven b.

- Hvordan synes du lærerne er her på skolen? spør vi.

- Bra, svarer Brage etter litt betenkningstid.

- Ikke bra, skyter han inn en liten stund senere, og smiler lurt.

- Gutten har humor, det er sikkert, sier pappa Rune Nøttveit.

Han forteller at sønnen har vært svært lærevillig og mestrer Tobii-en godt etter bare rundt ett års bruk. Vanligvis regner man at det skal gå rundt to år.

- Brage har taklet overgangen veldig bra, sier Rune.

Ny verden åpnet seg

Før måtte Brage gjøre seg forstått med det som i praksis var langt enklere pekebøker. Nå har en ny kommunikasjonsverden åpnet seg.

- Det er rett og slett mye lettere enn før å skjønne hva Brage mener, for eksempel hva han kan tenke seg på brødskiva.

- Før måtte vi liksom ta ut alt innholdet av kjøleskapet og plassere det foran ham. Nå kan han fortelle det selv, sier pappa Rune.

Fullverdig skriftspråk

Systemet Brage bruker rommer også et tastatur, slik at brage med tiden kan lære seg å skrive et fullverdig skriftspråk.


 

- Det kan ta litt tid, blant annet fordi Brage ikke får en vanlig drahjelp andre barn har i læringsprosessen; nemlig at de kan si ordene med egen stemme, sier faren.

Klokka nærmer seg 15 på ettermiddagen, og Rune spør hva sønnen helst vil ha til middag.

- Pannekaker, kommer det kjapt.

- Brage viser fin utvikling

Spesialpedagog Hege Johnstad jobber med Brage til daglig på Kleppe skole, og forteller at han nå i hovedsak kommuniserer gjennom de mange symbolene i menyene sine.

- Brage har en fin utvikling, og en super innstilling. Han kan allerede en del enkle ord, og er i ferd med å lære seg alle bokstavene i alfabetet.

- Målet på litt lengre sikt er at han ikke bare skal bruke symboler, men også uttrykke seg gjennom å skrive hele setninger på tastaturet, sier Johnstad.

Hvordan kan så Brage forvente at hans språkverktøy vil utvikle seg i årene som kommer? En ting er at ordleksikonet vil gi vesentlig flere mulige uttrykksformer.

Mæhle spår videre at talen vil genereres raskere og at øyestyringen vil bli mer presis.

Les mer: 

Den norske rapporten her: Languages in the European Information Society. Norwegian. META-NET White Paper Series. Koenraad De Smedt, Gunn Inger Lyse, Anje M. Gjesdal, Gyri S. Losnegaard.

Tilgjengelige ressurser i Språkbanken.

Hjemmesiden til Tobii Norge.

forskning.no ønsker en åpen og saklig debatt. Vi forbeholder oss retten til å fjerne innlegg. Du må bruke ditt fulle navn. Vis regler

Regler for leserkommentarer på forskning.no:

  1. Diskuter sak, ikke person. Det er ikke tillatt å trakassere navngitte personer eller andre debattanter.
  2. Rasistiske og andre diskriminerende innlegg vil bli fjernet.
  3. Vi anbefaler at du skriver kort.
  4. forskning.no har redaktøraransvar for alt som publiseres, men den enkelte kommentator er også personlig ansvarlig for innholdet i innlegget.
  5. Publisering av opphavsrettsbeskyttet materiale er ikke tillatt. Du kan sitere korte utdrag av andre tekster eller artikler, men husk kildehenvisning.
  6. Alle innlegg blir kontrollert etter at de er lagt inn.
  7. Du kan selv melde inn innlegg som du mener er upassende.
  8. Du må bruke fullt navn. Anonyme innlegg vil bli slettet.