Hallvard Skjerping fra Norsk Elektro Optikk med ett av de hyperspektrale kameraene som firmaet produserer. Biologisk materiale, som blader, er ett eksempel på materialer som kan studeres med det fargefølsomme kameraet. (Foto: Arnfinn Christensen, forskning.no)

Kamera med ekstremt fargesyn

Fargenyanser kan finne alt fra miljøgifter og mineraler til savnede personer. Hyperspektrale kameraer er et norsk industrieventyr i miniformat.

Sommeren 2003: Et Cessna småfly fra 1957 surret over Örebro i Sverige. Trond Løke fra firmaet Norsk Elektro Optikk (NEO) satt i baksetet, krøket over en dataskjerm. Foran skjermen lå en mørk boks ned mot gulvet i kabinen. En linse tittet ut gjennom en åpning i bunnen av flyet. Linsa så skog og jorder – og kanskje et kamuflert kjøretøy.

Det håpet i alle fall Løke. Den svarte boksen var firmaets prototyp av et kamera som kan se fargenyanser som øyet ikke ser, og finne gjenstander ut fra fargen på lyset de reflekterer.

[gallery:1]

Suksess i lufta, havari på bakken

Skjønt, det hyperspektrale kameraet lignet like mye på en skanner som på et kamera. Det tegnet linje for linje etter hvert som flyet gled framover, som når lyslista på bordskanneren glir over et ark.

Fly klarer ikke å holde en helt rett kurs. Den skannede bildestripa ble et slingrende spor over landskapet. Men et navigasjonssystem fra Forsvarets forskningsinstitutt (FFI) fulgte flyets ferd. Et dataprogram rettet ut sporet, og bestemte nøyaktig posisjonen til hvert billedpunkt.

Det var – og er – viktig for de militære oppdragsgiverne. Norsk Elektro Optikk sprang nemlig opprinnelig ut fra et fagmiljø på FFI, og samarbeidet mellom NEO og FFI har fortsatt.

–Vi fant kjøretøy på bakken, forteller Løke. –Flyturen var vellykket, men min Skoda kollapset ved Grums i Sverige på hjemturen, med brukket aksel.

–På togturen videre var det trangt, og vi måtte sette kassen med utstyret på høykant. Dermed lakk det svovelsyre fra bilbatteriene vi hadde brukt. Ikke helt ideelt på en togtur.

Alternativ hjemtransport etter bilhavari: Tog. Kofferten med utstyret måtte plasseres på høykant på grunn av plassmangel, og batterisyre rant ut i toget. Fra venstre: Torbjørn Skauli, FFI, Trond Løk,e NEO og Pål Erik Goa, FFI. (Foto: Ivar Baarstad, NEO)

Finn bilen!

Utstyret overlevde turen, og noen måneder seinere var kameraet og forskerne i NEO klare for nye utfordringer. Forsvaret hadde plassert ut en bil i Lillestrøm. Fargenyansene i billakken var skannet på forhånd.

Også denne gangen klarte det hyperspektrale kameraet oppgaven, med hjelp av et analyseprogram fra FFI. Og datamaskinen klarte å finne bilen helt automatisk blant hundrevis av andre biler, hus og hager.

Det hyperspektrale kameraet skannet i 2003 en stripe over Lillestrøm på leting etter en blå bil med kjent spektralt "fingeravtrykk". Et navigasjonssystem registrerte flyets ujevne flukt slik at man kan vise landskapet riktig. Automatisk analyse av bildet avslører hvor bilen er, riktignok med ett feiltreff på en blå markise. Det er likevel tydelig at automatisk bildeanalyse kan gi nyttig informasjon om hva som er på bakken. (Foto: (Bilde:Trym Haavardsholm, FFI))

Startet med romprosjekt

–Prototypen ble utviklet fordi den europeiske romfartsorganisasjonen ESA ville utvikle slike kameraer for satellitter, forteller produktsjef Hallvard Skjerping.

–Penger fra dette prosjektet ble starten for hyperspektrale kameraer i NEO, selv om kameraene våre aldri har fløyet i rommet.

Ekte og kunstig plante

Hva er hemmeligheten bak et hyperspektralt kamera? Hvordan skiller det seg fra et vanlig kamera?

En enkel forklaring får vi fra Torbjørn Skauli på Forsvarets forskningsinstitutt (FFI). Han har bidratt i utviklingen av de hyperspektrale kameraene til NEO, og var også med på den aller første «heisaturen» til Örebro med havari i Grums og lekkasje av batterisyre.

–Vel hjemme sa vi til hverandre at dette legger vi lokk på. Det skaper dårlig stemning. Men nå, mange år etter, når teknologien har blitt en suksess, har vi deklassifisert den historien, for å si det sånn, ler Skauli.

–Netthinnen i øyet vårt og bildebrikken i et vanlig digitalkamera har bare tre typer lysfølere, for fargene rødt, grønt og blått, forklarer Skauli.

Øyet grovsorterer lyset i disse tre primærfargene, og blander andre farger ut fra dem. Et hyperspektralt kamera kan derimot finsortere lyset i hundrevis av adskilte fargenyanser for hvert enkelt punkt i bildet.

Øverst: Hvilken plante er kunstig? I synlig lys ser de like ut. Nederst: I en bestemt rødfarge lyser den kunstige planten opp. (Foto: Torbjørn Skauli, FFI)

Skauli har et eksempel på hvordan hyperspektrale kamera kan skille mellom med ekte og kunstige planter.

For øyet og et vanlig kamera ser grønnfargen lik ut. Men når vi kan hente ut en adskilt fargenyanse, ser vi lettere forskjellen.

Finner legomann med data

Forskjellene er ikke alltid så lette å se som i dette eksempelet. Selv om vi kan sammenligne smale fargeområder fra det hyperspektrale kameraet, kan det være vanskelig, for ikke å si møysommelig og ofte umulig, for et menneske å myse seg gjennom alle fargeområdene for å finne interessant informasjon.

–Slike oppgaver egner seg mye bedre for datamaskiner enn mennesker, sier Skauli.

En dataanalyse av det hyperspektrale bildet får den kamuflasjefargede legomannen til å lyse opp. (Foto: Torbjørn Skauli, FFI)

Dataprogrammet finner for eksempel en gjemt en grønn legomann. Øyet klarer dårlig å skille grønnfargene fra planten og legomannen fra hverandre, men dataprogrammet oppdager de små nyanseforskjellene i de hyperspektrale fargene, og får legomannen til å lyse opp.

–Vi utnytter også de nye prosessorene i grafikkortene som dataspill er så avhengige av, for å analysere hyperspektrale data raskere, faktisk uten ventetid, forteller Skauli.

Militær bruk

Men Forsvaret trenger ikke det hyperspektrale kameraet til NEO for å finne legomenn. Forsvaret er mer interessert i å finne ut hva som skjer ute i felten.

–Vi tror at hyperspektrale kameraer kan hjelpe dem som gransker bilder ved å vise hvilke områder som er mest interessante. Ikke minst kan man få mye ut av å lete etter endringer mellom to bilder som er tatt til forskjellig tid, forteller Skauli.

Hyperspektrale bilder kan for eksempel oppdage kjemiske stridsmidler. Men som så ofte før, kan militær forskning komme sivilister til gode.

Miljø, mineraler, Mars

Istedenfor å lete etter fiendtlig personell, kan redningsmannskaper lete etter savnede personer. Istedenfor å finne kjemiske stridsmidler, kan det samme utstyret finne miljøgifter eller algeoppblomstring i sjøen.

Et hyperspektralt kamera underveis til mineralleting for å finne forekomster av sjeldne jordarter i Vietnam. På ett av målestedene ble oppsettet angrepet av en løpsk vannbøffel med kalv. (Foto: Hallvard Skjerping, NEO)

Forskjellige typer mineraler lyser også opp på hyperspektrale bilder. Det kan være nyttig for gruvedrift på jorda, og for forskere på andre planeter.

–For noen år siden var jeg med den amerikanske forskeren Mario Parente til Rio Tinto-gruvene i Spania med ett av våre kameraer, forteller Skjerping.

–NASA var interessert i å finne ut hvordan hyperspektrale kameraer kunne brukes på marskjøretøy for å finne interessante mineraler.

–Vi startet med oversiktsbilder, og så beveget vi oss nærmere og nærmere interessante områder, slik kjøretøyet på Mars kunne gjort, sier Skjerping.

Medisin, mat, malerier

Også syke mennesker kan få hjelp av hyperspektrale kameraer. Gjennomlysning av hender skal kunne avsløre leddbetennelse på et tidlig stadium. Sår som ikke gror, reflekterer andre farger enn sår som gror.

Blåmerker fra slag, her fra et eksperiment med paintball, trer tydelig fram i det hyperspektrale bildet. (Foto: (Bilder: Lise Randeberg, NTNU))

Et hyperspektralt bilde av et blåmerke kan avsløre hvor hardt det ble slått da blåmerket ble laget. Slike bevis kan bli viktig i straffesaker.

I industrien kan teknikken brukes til kvalitetskontroll av datakretser, legemidler og matvarer. Dataprogrammet vil raskt varsle om avvikende fargekurver fra produkter som ikke følger strenge standarder.

Slik som Trond Løke duvet over Örebro i et småfly i 2003, kan andre småfly i framtida sveipe over jord og skog. De hyperspektrale kameraene kan skille friske planter fra syke, og skille mellom forskjellige treslag.

Under varmere himmelstrøk kan de også kartlegge tropisk regnskog. Bilder tatt til forskjellig tid kan avsløre ulovlig hogst.





Det hyperspektrale kameraet har også vært brukt i Nasjonalgalleriet for å ta bilde av maleriet Skrik av Munch. Da kan fargespektrene avsløre hvordan bildet er overmalt i flere lag, eller finne skjulte detaljer.

Et hyperspektralt kamera fra NEO brukes også blant annet i Lovre i Paris for å finne ut hvilke fargestoffer maleren har brukt, slik at malerier kan restaureres til sin opprinnelige fargeprakt

Eksklusivt produkt

Fortsatt er hyperspektrale kameraer dyre, men Norsk Elektro Optikk samarbeider med FFI for å gjøre kameraene mindre, billigere, mer lysfølsomme, skarpere og raskere, kort sagt: bedre.

Ivar Baarstad med et hyperspektralt kamera under produksjon i Norsk Elektro Optikks lokaler ved Skedsmokorset. (Foto: Arnfinn Christensen, forskning.no)

–Siden 2006 har NEO produsert hyperspektrale kameraer for salg, forteller Ivar Baarstad. Han var også med på den første flyturen i 2003, og er sammen med Trond Løke veteran i firmaet.

Produksjonslokalene er langt fra noen samlebåndsfabrikk. Hyspex-kameraene er nærmest håndlagede, men så selges det heller ikke flere enn rundt 20 av dem i året.

Fargeflate og bildekube

–Grunnprinsippet for kameraene er grovt sett de samme i dag som da vi startet utviklingen på slutten av nittitallet, sier Baarstad.

Det hyperspektrale kameraet skanner et og ett linjeformet utsnitt av figuren. Fargespekteret for hvert punkt i linjen blir spredd ut loddrett til en flate på bildebrikken. Skanningen av motivet, her en sirkel og en trekant, bygges opp linje for linje, fargeflate for fargeflate, til en spektralkube. Motivet (sirkel og trekant) sees på toppen av kuben. (Foto: (Figur: Arnfinn Christensen, forskning.no))

Det hyperspektrale bildet framkommer når kameraet sveiper over motivet, slik at linje legges etter linje. Hvert punkt i en enkelt linje spres ut i alle regnbuens farger på en bildebrikke.

Det kan skje som i en bordskanner, når den sveiper over et ark som skal skannes. Da monteres en forsatslinse på kameraet, for å kunne ta bilder av gjenstander på helt ned til tre desimeters avstand.

Skanningen kan også skje ved at et fly sveiper over et landskap, slik det skjedde over Örebro sommeren 2003 – eller i Bordeaux ti år seinere.

Enøyde Odin

I september 2013 ble nemlig NEOs nyeste hyperspektrale kamera Odin prøvefløyet.  Forsøkene skjedde i samarbeid med Tysklands svar på NASA, Deutsches Zentrum für Luft- und Raumfahrt, og et fransk forskningssenter for luft- og romfart, ONERA.  Disse forsøkene var i en helt annen klasse enn de første flygningene over Örebro.

[gallery:2]

–Vi brukte tre uker, mot en dag i Örebro. Flygningene kostet flere hundre tusen Euro, og vi var til sammen over 20 personer som deltok fra Norge, Tyskland og Frankrike, forteller Løke.

–Alt fungerte perfekt, og vi fikk til og med litt tid til vinsmaking i Saint Emilion, fortsetter han.

Flygningene var en del av det norsk-franske forsvarsprosjektet SYSIPHE. Samtidig som et fransk kamera ble prøvd ut, ble Odin koblet til et datasystem for sanntidsanalyse av bildene, utviklet i samarbeid mellom FFI og NEO.

–Vi kaller det Odin fordi han ifølge Den eldre Edda ofret ett øye for å kunne drikke av visdommens brønn. Vår Odin har også bare ett øye, i den forstand at det kan erstatte to tidligere kameraer, forteller Hallvard Skjerping.

Større fargeområde

Odin kan nemlig både se de synlige fargene – og det infrarøde lyset som øyet ikke kan se, bortenfor det røde i regnbuen.

–Infrarødt lys er spesielt nyttig i miljøovervåkning, for eksempel for å skille syke planter fra friske, sier Skjerping.

Inne i Odin sitter derfor to bildebrikker, en for synlige farger og en for de infrarøde. De må dele på lyset fra Odins ene øye av linser og speil.

–Derfor må optikken i Odin være stor og lyssterk. Kameraet veier 80 kilo, sier Skjerping. Odin inneholder også de siste forbedringene som forskerne i NEO har klart å utvikle, blant annet datakorrigeringer av optiske feil på bildebrikken.

–Målet er å utvikle et system som både kan brukes til militær etterretning og for forskning, sier Skjerping.

Mini-Odin og nye markeder

–Vi arbeider også med å lage en mini-ODIN, fortsetter han. –Den skal ikke veie mer enn at den kan monteres på ubemannede fly.

Og Trond Løke er fortsatt ute og flyr, denne gangen i Kina. I et gammelt propellfly som ser ut til å ha overlevd annen verdenskrig har han gitt opplæring i bruk av et hyperspektralt kamera for nye kunder i et nytt og voksende marked.

[gallery:3]

Lenker:

Om hyperspektralen bilder på nettsidene til firmaet Norsk Elektro Optikk

SYSIPHE, pdf om prosjektet

Tomorrow´s intelligence systems, om prosjekt SISYPHE fra det franske firmaet ONERA

Mario Parente: Simulating a Mars mission for the identification of samples of high mineralogical interest using a portable imaging spectrometer, abstract av artikkel lagt fram på høstmøtet til American Geophysical Union, 2011, The Smithsonian/NASA Astrophysics Data System

Hans Ole Ørka: Klassifisering av treslag ved hjelp av ulike datakilder, presentasjon fra Norges miljø- og biovitenskapelige universitet, 2011 (pdf).

Holger Lange og Svein Solberg: Forest Reflectance Modelling of Hyperspectral Data, ForestSat, november 2007

E. Olsen et.al: Spectral and spatially resolved imaging of photoluminescence in multicrystalline silicon wafers, Applied Physics Letters, Volume:99  Issue: 1, 11. juli 2011, DOI 10.1063/1.3607307

Powered by Labrador CMS