Kopioi artikkelin PDF-versio
Kotiapureina toimivien robottien ennustetaan olevan kuluttajamarkkinoilla jo 10 -15 vuoden sisällä. Ne auttavat arkielämän askareissa tai pitävät seuraa vaikkapa ikäihmisille.
Joka paikassa läsnä oleva tietotekniikka eli ubicom on tällä hetkellä kovan tutkimuspanostuksen kohteena. Mikään uusi teema se ei kuitenkaan ole, sillä älykkäitä ympäristöjä on tutkittu ja kehitetty jo vuosikymmeniä.
Kodeista ja muista tiloista on tulossa vuorovaikutteisia. Ne varustetaan kamera-verkoin ja erilaisin anturein, jotka mittaavat ympäristöstään monentyyppisiä signaaleja. Näiden signaalien käsittely ja hyödyntäminen eri tekniikoiden avulla muuttaa teknisten laitteiden käyttöä merkittävästi. Näppäimistä ja kauko-ohjaimista siirrytään luonnolliseen vuorovaikutukseen. Esimerkiksi Microsoft kehittää parhaillaan älykästä käyttöliittymää Xbox 360 -pelikonsoliin. Siinä pelejä ohjataan oman kehon liikkeiden ja puheen avulla. Samoin keinoin voidaan ohjata robottiakin.
Ymmärtää eleitä ja ilmeitä
Oulun yliopiston sähkö- ja tietotekniikan osaston konenäön sekä älykkäiden järjestelmien ryhmät ovat yhdistäneet osaamisensa Suomen Akatemian Motive-tutkimusohjelmaan kuuluvassa nelivuotisessa hankkeessa.
Tavoitteena on saada ihmisen ja robotin välinen vuorovaikutus mukailemaan mahdollisimman hyvin ihmisten välistä vuorovaikutusta. Tämä toteutetaan viestimällä robotin kanssa kasvokkain, jolloin hyödynnetään muun muassa ilmeiden, puheen ja eleiden automaattista tunnistusta. Lisäksi robottiin voidaan olla yhteydessä etäältä matkapuhelimen kameran ja langattomien yhteyksien avulla. Tulevaisuuden robotti pystyy esimerkiksi aistimaan jokaisen perheenjäsenen, vaikka he kaikki eivät olisi fyysisesti läsnä samassa tilassa. Myös ihmiset voivat kommunikoida robotin kanssa etäältä, toisesta huoneesta tai vaikkapa työpaikalta.
Palvelee yksilöllisesti
Jotta robotti voisi ottaa huomioon eri perheenjäsenet ja heidän tarpeensa, sen pitää pystyä tunnistamaan, kuka henkilö on kyseessä.
Automaattinen kasvojentunnistus onnistuu nykyisin jo kohtuullisen hyvin myös eri valaistusoloissa, jos kuvan laatu on tarpeeksi hyvä. Lähi-infrapunakameroiden avulla tunnistus onnistuu myös lähes pimeässä.
Kasvojen perusteella voidaan myös päätellä sukupuoli ja karkea ikäluokka. Nämäkin tiedot auttavat robottia sopeuttamaan käyttäytymistään.
Pelkkä kasvotieto ei riitä täysin varmaan henkilöntunnistukseen, mutta käyttöliittymätyyppisessä tunnistuksessa ei olekaan tarpeellista päästä sataprosenttiseen luotettavuuteen.
Kasvotietoon voidaan yhdistää vaikkapa puheentunnistus. Esimerkiksi eurooppalaisessa MOBIO-hankkeessa kehitetään kasvo- ja puhetiedon yhdistävää tunnistustekniikkaa matkapuhelimeen.
Tunnistaa tunteita
Kuuden perusilmeen (ilo, suru, inho, pelko, viha, hämmästys) automaattinen tunnistus videokuvasta onnistuu tällä hetkellä jopa yli 90 prosentin tarkkuudella, kun käytössä on valmis ilmeiden tietokanta. Oulun yliopistossa on menestyksellisesti hyödynnetty paikallisten piirteiden luokittelua harmaasävykuvista.
Local Binary Pattern -menetelmässä ilmeet erotetaan analysoimalla kasvojen pintarakenteiden dynaamista vaihtelua kuvasta ajan ja paikan suhteen rajattujen eli spatiotemporaalisten tekstuurikuvaajien avulla. Huulia ja muita kasvonpiirteitä ei tarvitse löytää ja erotella, joten virheitä tulee vähemmän. Monotoniset harmaasävymuutokset tai kasvojen kohdistumisessa tapahtuvat pienet virheet eivät myöskään vaikuta tunnistuksen tarkkuuteen.
Kävelytyyli kertoo
Robotti voi arvioida ihmisen tunnetilaa myös etäältä tämän kehon liikkeiden tai kävelytyylin avulla.
Ihmisen kävelytyyli voidaan tunnistaa joko kuvatiedosta tai vaikkapa askelista lattialla. Tällöin lattian alla on oltava tunnistuskalvo.
Kameran antamasta kuvasta kävelytyyliä voidaan analysoida, vaikka henkilö olisi kaukanakin. Kävelytyyli on jokaisella ihmisellä yksilöllinen ja siten vaikeasti kopioitavissa. Kuvasta voidaan erottaa ihmisen silue-tin muoto ja toisaalta tarkastella kuvassa tapahtuvaa liikettä. Liiketiedon analysoinnissa voidaan hyödyntää samaa spatiotemporaalista LBP-menetelmää kuin tunteiden tunnistuksessakin. Kävelytyylin varman tunnistuksen haasteena on siluetin vaihtelu eri ajankohtina. Siluetin muoto muuttuu, jos henkilö vaihtaa asusteitaan tai erityisesti kantamuksiaan. Kävelytyyli voi kuitenkin olla yhtenä tunnistustapana, jota tuetaan muilla tavoilla.
Sijainti kartalle
Robotin täytyy tuntea tila, jossa se liikkuu. Se havainnoi ympäristöään yleensä kameran antaman kuvatiedon avulla. Esimerkiksi pimeässä voidaan käyttää lämpökameraa liikkumiseen ja esteiden väistämiseen. Robotilla on oltava sijainnistaan kartta-pohjainen tieto, jonka se voi saada annettuna tai oppimalla. Sen on pystyttävä mittaamaan yksilöllinen paikka, johon on tarkoitus mennä. Tätä varten robotin on tiedettävä luonnollisesti myös nykysijaintinsa, jonka suhteen se voi liikkua edelleen. Navigointi tarkoittaa useimmiten robotin kykyä löytää vapaita reittejä liikkumiseen esimerkiksi huoneesta toiseen. Sisätiloissa yksinkertaisin vaihtoehto on luottaa robotin sisäisten antureiden tuottamaan tietoon, joka perinteisesti pohjautuu merkintälaskuun.
Robotin pyörien pyörimisnopeudesta voidaan laskea matka ja niiden suuntakulmasta saadaan liikkeen suunta. Tällä menettelyllä saadaan hyvä lähiajan tarkkuus, mutta kasvava suuntavirhe heikentää paikannustarkkuutta ajan mittaan.
Eri antureita käyttäen voidaan ympäristöstä mitata yksilöllisiä paikkatietoja. Niiden avulla voidaan päivittää robotin matkalaskenta tai navigoida opitussa ympäristössä. Yksi Oulussa tutkittu menetelmä perustuu ympäristön luonnollisten sekä sähkölaitteiden tuottamien magneettikenttien apuun. Aluksi magneettikentät mitataan ja opetetaan robotille, sillä tietyssä paikassa olevien magneettikenttien on todettu olevan kohtalaisen pysyviä. Navigoinnissa yksilöllisiä magneettikenttiä voidaan hyödyntää todennäköisyyslaskentaan perustuvalla Monte Carlo -paikannustekniikalla.
Oppimiskykyä tarvitaan
Henkilöntunnistuksen lisäksi robotin on pystyttävä sopeutumaan ihmisen vaihtelevaan käyttäytymiseen ja muuttuviin olosuhteisiin. Pelkkä etukäteisohjelmointi ei kuitenkaan riitä, vaan tarvitaan edistyneitä oppimismenetelmiä. Oppimisen on tapahduttava sekä lyhyt- että pitkäkestoisesti. Lyhytkestoista oppimista tarvitaan tilanteen ja henkilön vaihtuessa. Pitkäkestoisempaa oppimista tarvitaan, jotta robotti voi "muistaa" aiem-pia vuorovaikutustilanteita juuri tietyn henkilön osalta. Oppimista tarvitaan myös siihen, että robotti voi toimia uudessa ympäristössä tai silloin, kun ympäristö muuttuu ajan myötä. Perinteisesti robottien antureilta saama signaalimuotoinen informaatio esitetään symbolimerkkijonoina. Robotin aisti-suunnittele-toteuta -ajatusmallin pitää rakentaa näistä symboleista monimutkainen merkitysten verkko.
Ympäristön mallinnukseen tarvitaan usein monimutkaista ennakkoprosessointia. Tavoitteet, käyttäjämallit ja toimintamallit täytyy kukin erikseen ohjelmoida robotille toteutettavaksi.
Käyttäytyy tilanteen mukaan
Robotti kuitenkin toimii hankalasti ennakoitavassa, jatkuvasti muuttuvassa aika-tilaympäristössä. Aisti-suunnittele-toteuta -ajatusmallin heikkoutena voi olla toimiminen muuttuvassa ympäristössä. Siksi tarvitaan dynaamisempia oppimismalleja.
Nykyisin robotiikassa hyödynnetään yleisesti käyttäytymislähtöistä lähestymistapaa. Jo 1980-luvun puolivälissä MIT:n tutkija Rodney Brooks esitteli robotin ohjausarkkitehtuurin, joka koostuu yksinkertaisista kerroksittain ja rinnakkain toimivista moduuleista.
Robotille tarjotaan ennakkoon joukko peruskäyttäytymismalleja, joihin se vertaa todellista tapahtumaympäristöään. Kuhunkin tilanteeseen sopivin malli ohjaa robotin toimintaa. Yksinkertaisten toimintojen avulla robotille saadaan reaktiivinen ohjaus, jonka avulla se voi sopeutua muuttuviin oloihin ilman, että se täytyy ohjelmoida uudelleen. Käyttäytymislähtöisen menettelytavan haasteena on löytää ne käyttäytymismallit, joista robotin toiminta muodostuu. Mallit voidaan luoda käsityönä, käyttää hyväksi simulaatiota ja tehdä antureilla mittauksia tapahtumasta, johon käyttäytyminen kehitetään. Yksinkertaisimmillaan voidaan hyödyntää kokeile-erehdy -tyyppistä oppimismallia, jossa ihminen ensin manuaalisesti muuttaa oletuskäyttäytymismalleja ja testaa tästä seuraavaa robotin yleistä käyttäytymistä.
Vuorovaikutus luodaan
Robotin ohjausjärjestelmä saa antureiden mittaamaa raakadataa ja aikatietoa sekä konenäön tulkitseman tunnetilan. Robotti vertaa havaittua tunnetilaa sille aiemmin opetettuihin tunnetiloihin ja vuorovaikutusmalleihin. Näiden pohjalta robotti viestii takaisin käyttäjälle, liikkuu tai ääntelee. Viesti voi olla esimerkiksi vastaus ihmisen tunnetilaan tai aloite.
Robotin oma liikkuminen mahdollistaa myös sen, että ihmisen tunnetilaa voidaan mitata aktiivisemmin ja monipuolisemmin. Lähietäisyydeltä tapahtuva viestintä robotin kanssa voidaan tehdä eleillä ja puheella. Käsimerkkien automaattista tunnistusta on jo tutkittu Oulun yliopistossa. Puheentunnistuksen riittävä luotettavuus voidaan saavuttaa, kun yhdistetään sekä visuaalinen suun liike että äänitieto. Myös tähän voidaan käyttää spatiotemporaalista LBP-menetelmää.
Kun ihminen on kauempana robotista, hän voi käyttää kehonliikkeitään vuorovaikutukseen, esimerkiksi heiluttaa käsiään tai nostaa jalkaa. Tällaisten toimintojen tunnistus voi perustua kehonosien luokitteluun kuvasta ja niiden liikkeen analysointiin spatiotemporaalisella piirtei-den--erotusmenetelmällä.
Robottia voidaan ohjata etäältä myös matkapuhelinta liikuttaen. On olemassa tehokkaita ja nopeita laskenta-algoritmeja matkapuhelimen kameran oman liikkeen laskemiseen. Arviointi tapahtuu kaltevuusmittauksella ja laskemalla kuvapiirteiden siirtymäepävarmuuksia.
Avatar kahdella pyörällä
Liikkeen ja äänen kautta syntyvän vuorovaikutuksen avulla robotti "kehollistuu", jotta ihminen voi hyväksyä sen keskustelukumppaniksi. Nykyiset seurustelevat robotit ovat joko ihmismäisen näköisiä tai perinteisen robottimaisia. Tutkimuskiinnostuksen perusteella eurooppalaiset näyttävät suhtautuvan varauksin ihmisen näköiseen robottiin, kun taas aasialaiset pitävät nimenomaan ihmistä mahdollisimman tarkasti jäljittelevistä roboteista.
Oulun yliopistossa on tarkoituksena visualisoida robotti avatar-hahmon avulla ihmismäiseksi. Hahmo puhuu robotin pääksi asetetulta näytöltä ihmiselle. Itse robotin mekaaninen rakenne saadaan valmiista tuotteesta, Segwayn Robotic Mobility Platformista. Alustan päälle lisätään tarvittavat anturit ja ohjausjärjestelmä.
Hyötyä ja opettavaa viihdettä
Vaikka konenäön toteuttaminen elinympäristöön on edelleen haastavaa, valmiita tuotteita on jo olemassa.
Videokameroissa hyödynnetään automaattista kuvantunnistusta jo nyt. Kasvojen avulla voidaan löytää kuvattava henkilö, ja hymyntunnistus varmistaa onnistuneen lopputuloksen. Monilla lentokentillä rajatarkastusta jo hoitavat ihmisten ohella kasvontunnistusautomaatit. Kuluttajien saatavilla, jopa suhteellisen edullisestikin, on robotti-imureita ja -ruohonleikkureita. Robotin tarkkuutta ja erehtymättömyyttä hyödynnetään myös kirurgiassa.
Erilaisin ominaisuuksin varustetut lelurobotit lienevät tuttuja kaikille. Opettavan viihteen ("edutainment") kaupallinen potentiaali on huomattava. Siksi muun muas-sa Microsoft panostaa tuntuvasti vuorovaikutteiseen pelaamiseen. n
Kuvatieto voidaan purkaa pieniin osiin pikselien tasolle ja verrata niiden harmaasävyeroja toisiinsa. Erot muutetaan binääriluvuiksi ja niistä muodostetaan histogrammikuvaajia, joissa kuvatietoa tarkastellaan kolmiulotteisessa aika-tila-avaruudessa. Oulun yliopistossa kehitetty Local Binary Pattern -menetelmä ja sen spatiotemporaaliset laajennukset (esim. LBP-TOP) ovat tällä hetkellä erittäin siteerattuja informaationkäsittelyn tiedeyhteisössä. Menetelmäperheellä voidaan tunnistaa monenlaista kuvassa tapahtuvaa liikettä.>
Yksi tapa dynaamiseen robotin ohjaukseen on hyödyntää signaalinkäsittelyssä keinotekoisia neuroverkkoja. Idea on saatu alun perin ihmisaivojen monimutkaisesta hermoverkostosta, jonka toimintaa tämä yksinkertaistettu laskennan malli jäljittelee.
Neuroverkko voidaan opettaa sovittamaan tulevaa ja lähtevää signaalia toisiinsa ilman todennäköisyysjakaumamallin tekemistä opetusaineistolle. Neuroverkko oppii muuttujien epälineaariset riippuvuussuhteet suoraan havaintoaineistosta.
Evoluutiolaskenta, joka perustuu luonnossa havaitun evoluution periaatteisiin, on yksi tapa neuroverkon opettamiseen. Ympäristössään parhaiten pärjäävät neuroverkot saavat jatkaa geenejään.
Monituhatkertaisesti reaaliaikaista nopeammat simulaattorit ovat korvaamaton apu evoluutiolaskennassa, jossa pitää käsitellä jopa tuhansien robottisukupolvien elinkaari.
Human-robot interaction should be natural, like human to human communication. Humans can interact with the robot by simple gestures, emotions or speech commands. Several technologies are available for supporting such affective interaction. Human faces, emotions, gestures, speech and even the walking style can be automatically recognized for example by state-of-the-art Local Binary Patterns and their spatiotemporal extensions, developed at the University of Oulu. The robot can utilize adaptive learning and mapping methods in its behavior and navigation. University of Oulu has a long experience in building intelligent indoor and outdoor robot systems. The research in affective human-robot interaction is funded by the Academy of Finland and its Ubiquitous Computing and Diversity of Communication (Motive) Research Programme. Contact person for the project is Matti Pietikäinen (matti.pietikainen@ee.oulu.fi).
Kirjoittajat: Matti Pietikäinen, Juha Röning, Janne Haverinen, Ilari Vallivaara, Hannakaisa Aikio, Oulun yliopiston sähkö- ja tietotekniikan osasto
Yhteyshenkilö: matti.pietikainen@ee.oulu.fi
Yhteistyössä: Oulun yliopisto ja Infotech Oulu
Tutkimus: Affektiivinen ihmisen ja robotin vuorovaikutus
Tutkimusohjelma: Motive, Suomen Akatemia
Prosessorin 11/2009 linkkipankkiin on koottu nettilinkit aihetta tutkineiden yhteisöjen kotisivuille. Mukana ovat myös linkit Mobile Biometry -projektin, Microsoftin Project Natalin ja Segway Robotic Mobility Platformin sivuille.