Når du søker etter bilder, kan det være lettere å tegne enn å beskrive med ord. Tegneferdigheter er ikke så viktig. Men du må skjønne hvordan søkeprogrammet virker, og få tilbakemeldinger underveis.
Denne artikkelen er over ti år gammel og kan inneholde utdatert informasjon.
- Profesjonelle brukere av bilder, som designere og kunstnere, er helt klare for å ta i bruk tegnesøk etter bilder, sier Lars-Jacob Hove til forskning.no. Han har nettopp avsluttet en doktorgrad der han har undersøkt hvordan brukere opplever denne typen bildesøk.
Hove har latt 14 proffbrukere og 17 vanlige brukere prøve ut to forskjellige tegnesøk. Konklusjonen er klar: De glade amatører synes fortsatt dette er tungvint og kuriøst, mens proffbrukerene gjerne tar teknologien i bruk.
Eksempel på tegning i søkeverktøyet Retrievr, med søketreff til høyre. (Foto til høyre: josef.stuefer, Creative Commons, attribution 2.0 generic)
Går mot pessimisme
- Problemet er bare at programmene ennå ikke er helt modne for markedet. Brukervennligheten er mangelfull, og utvalget av bilder er for lite, sier Hove.
Han mener også at de store bildebyråene er konservative.
- De tror mer på katalogisering og beskrivelse av bildene med ord enn på tegnesøk, sier han. Likevel tror Hove at mye er i ferd med å skje nå.
- I Google images er det en lite kjent finesse at du kan skrive inn en søkestreng som gir treff på bilder med en spesiell farge. Og programmet Goggles for smarttelefoner lar deg ta bilder og finne blant annet kjente landemerker og kunstverk, forteller Hove.
- Det som trigget meg, var at jeg fikk høre at tegnesøk ikke vil fungere. Noen mente at folk er for dårlige til å tegne, andre at teknologien er for dårlig.
- Med denne doktorgraden bestrider jeg denne pessimismen. Tiden er inne for å lage programmer som kan være svært nyttige for profesjonelle brukere, sier han.
Enkelt tegneverktøy
Lars-Jacob Hove (Foto: Zulfikar Fahmy, Universitetet i Bergen)
De to programmene som Hove lot forsøkspersonene prøve, heter Retrivr og VISI. Begge lar deg tegne med et primitivt tegneverktøy som ligner Microsoft Paint for Windows.
- Amatørene var frustrert fordi de syntes de ikke var gode nok til å tegne, og fordi det tok mye lengre tid å tegne enn å søke med ord, forteller Hove.
- Proffbrukerne fra kunst- og designstudiene var mer vant til å tegne, men i praksis skilte tegningene deres seg lite fra amatørenes. De hadde liten nytte av tegneferdighetene sine, understreker han.
- Det som skilte de to gruppene, var hvor nyttig proffene syntes tegnesøket var. De kunne gjerne legge fem minutter inn i en tegneøkt hvis de bare fikk bildet de var ute etter, sier Hove.
Finne innhold
Tegnesøk er ingen ny teknologi. Den benytter seg av det som kalles innholdsbasert bildegjenfinning, Content Based Image Retrieval (CBIR).
De første CBIR-systemene ble utviklet på begynnelsen av 1990-tallet, blant annet med forsøkene til den ungarske forskeren Zoltan Kato.
Annonse
Og nettopp slik automatisk kartlegging av bildet er kjennetegnet ved CBIR-systemene. Det betyr at de må være i stand til å analysere bildene.
Analyse på flere nivåer
Den enkleste analysen ser på enkle former og fargeinnhold, slik Kato gjorde. Dagens systemer er allerede gode til å tolke og gjenfinne farger.
Former og overflatestrukturer er derimot vanskeligere. Spesielt hvis datamaskinen også skal prøve å sette navn på fotomotivet, for eksempel gjenkjenne en hund fra en katt, eller for den saks skyld en delfin fra en banan.
Eksempel på hvordan innholdsbasert bildegjenfinning mistolker motivet: En delfin og en banan har samme form. (Figuren er hentet fra doktorgradsavhandlingen til Lars-Jacob Hove)
- Dette er et typisk eksempel på hvordan selv dagens mest avanserte systemer kan bomme, sier Hove. Illustrasjonen er fra hans egen doktogradsoppgave. Formen er omtrent den samme i begge bildene, men motivene er vidt forskjellige.
Uten forhåndsoppfatninger
Fordelen med automatisk katalogisering ved hjelp av bildegjenkjenning, er likevel at datamaskinene skrider til verket uten forhåndsoppfatninger om viktig og uviktig.
- Bibliotekarer har sin fagbakgrunn, sin kultur. Deres tolkning av bildet kan være subjektiv. Tenk deg et bilde av tidligere president Bill Clinton. Bibliotekaren vil trolig katalogføre presidenten, men overse terrieren i bakgrunnen. Datamaskinen skiller ikke mellom president og tilfeldig forbipasserende hund, sier Hove.
Lærer av eksempler
Datamaskiner er for øvrig blitt bedre til å gjenkjenne menneskeansikter. Dette er et eksempel på hvordan begrensning av søket til spesielle motiver kan hjelpe maskinen å finne fram.
- Etter hvert er det mange mennesker som har tagget seg selv og andre motiver på nettstedene Facebook og Flickr. Dette kan programmene bruke til å lære å gjenkjenne motivene i andre belysninger, utsnitt og vinkler, sier Hove.
Annonse
Han ser klart at mye gjenstår før produsentene kan lage det som kalles en ”killer app” – et program som blir virkelig populært og utbredt.
Bedre verktøy
- Det er viktig at programmet lar brukeren forstå hvordan det tenker. Det kan skje ved at programmet gir respons underveis mens brukeren tegner, sier Hove.
Det ene programmet i undersøkelsen, Retrivr, er et slikt program. Du får søkesvar mens du tegner, og kan endre tegningen for å få bedre treff.
Hove mener også at tegneverktøyene må bli bedre. Selv om enkle strektegninger i tegneseriestil fungerer best, må det gå an å justere tegningene lettere underveis, dytte og dra i dem som digital leire for å få dem slik de skal være.
- Det er også viktig at det blir mange nok bilder med i søkene, fortsetter Hove. – For å få til det, må de store søkemotorene katalogisere millioner av bilder automatisk med bildegjenkjenning. Nå er endelig maskinkraften stor nok til at dette kan bli virkelighet.
