Artikkelisarjan edellisissä osissa on valotettu eri ADAS-järjestelmien kehityskulkuja. Tässä sarjan päättävässä artikkelissa paneudutaan kuljettajan valvontaan ja vireystilan havainnointiin, jotka ovat erittäin tärkeässä osassa, kun tavoitteena on kokonaisvaltainen autonominen ajaminen. Sen lisäksi käsitellään ympäristön havainnointia ja peilien asettelua.

Useimpien ADAS-järjestelmien tapaan myös ensimmäiset vireystilan ilmaisimet olivat toteutukseltaan mekaanisia eli kaistojen väliin ja pientareiden reunoihin asennettuja tärinäraitoja. Niiden vaikutuksesta saatiin ensimmäistä kertaa nukahtamisesta aiheutuneiden onnettomuuksien määrä merkittävästi laskemaan aikaisempaan verrattuna (NHTSA, 1998).

Yhdysvaltain kansallisen tieliikennehallinnon (NHTSA) vuonna 1998 julkaisemassa raportissa on paneuduttu kattavasti uneliaana tapahtuvan ajamisen vaikutuksiin. Raportti dokumentoi laboratorioissa ja ajoneuvoissa käytettäviä vireystilaa (uneliaisuutta) mittaavia työkaluja ajalta, jolloin oli yleistä mitata fysiologisia signaaleja uneliaisuustason määrittämiseksi. Valitettavasti käytännössä tämä toimi vain laboratorio-oloissa, koska jokainen henkilö jouduttiin tutkimaan ja data kalibroimaan yksilöllisesti. Raportissa kuitenkin todetaan, että tutkimustyön alla on myös ajoneuvossa sijaitsevat järjestelmät, kuten silmänvilkkeen ilmaisimet, ohjausliikkeitä seuraavat anturit ja kaistanvahtilaitteet (NHTSA, 1998). Näitä laitteita ei kuitenkaan ollut vielä tuolloin kaupallisesti saatavissa teknologian asettamien haasteiden takia (Dinges, 1995).

Ensimmäisenä tunnettuna elektronisena vireystilanilmaisimena voidaan pitää ohjauskulma-anturia. Ensimmäiset kaupalliset järjestelmät tulivat markkinoille 2000-luvun alussa. Ohjauskulma-anturi seuraa ohjauspyörän liikkeiden laajuutta ja nopeutta. Tämä tieto itsessään ei ole erityisen hyödyllistä. Mutta kun mukaan otetaan ohjelmistoalgoritmi, joka käyttää pyörimisliikkeestä saatua dataa yhdessä ajoneuvon nopeudesta, ajovakauden hallinnasta (mutkittelut ja kallistumiset) ja jopa kamerasta saatavan tiedon kanssa, saadaan muodostettua luotettava järjestelmä vireystilan arvioimista varten. Näille järjestelmille on tyypillistä, että ne ovat käyttökelpoisia ainoastaan suurilla ajonopeuksilla ja pienillä ohjausliikkeillä, koska paljon pysähdyksiä, kiihdytyksiä ja kääntymisiä sisältävä kaupunkiajo sekoittaa algoritmia.

Kyseiset järjestelmät kalibroivat jokaisen matkan alkuvaiheessa kuljettajalle soveltuvan lähtötilanteen matkareittiä varten. Bosch on monien mielestä tämän alan pioneeri ja yrityksen nettisivuilla on saatavissa tarkempia tietoja heidän ratkaisustaan, joka on varsin käyttökelpoinen. Nykyaikaiset ajoneuvot ovat kehittymässä kohti yhä suurempaa itseohjautuvuutta, jolloin kuljettajan ei tarvitse osallistua ajamiseen enää lainkaan. Jos ajoneuvo toimii täysin autonomisesti, ei kuljettajan vireystilan valvonnalla sinällään ole enää merkitystä.

Esiin on noussut uudenlainen ratkaisu, joka toimisi molemmissa tilanteissa oli sitten kysymyksessä ihmiskuljettajaa totteleva tai itseohjautuva ajoneuvo. Ratkaisulle on annettu nimeksi DMS-järjestelmä (driver monitoring system). DMS on ollut esillä jo 1990-luvun lopulta alkaen, mutta tuotteita on alkanut ilmaantua vasta 2020-luvulla. DMS perustuu konenäköön, kameraan ja laskentaan pohjautuvaan kasvojen ja silmien liikkeiden seurantaan kuljettajan tarkkaavaisuuden ja läsnäolon päättelemistä varten. Tähän pystyvien luotettavien algoritmien kehitystyö on vaatinut palon työtä. Lopun viitteissä mainitussa EE Timesin artikkelissa on tuotu esiin DMS:n kehityön haasteita (Barnden, 2021).

Euro NCAP valvoo nykyisin DMS-järjestelmiä. Saadakseen parhaimmat törmäyksenesto- ja turvallisuuspisteytykset uusissa ajoneuvoissa tulee olla DMS-järjestelmä vuoteen 2024 mennessä. Tarjolla on joitakin niin kalliimpia ja kuin halvempiakin erityisratkaisuja. Valitettavasti vain autonvalmistus on erittäin kustannustietoinen toimiala, eivätkä asiakkaatkaan halua maksaa kovin paljon ylimääräistä tällaisista ominaisuuksista.

Toinen trendi on laajentaa kuljettajan valvonta koskemaan myös matkustajien valvontaa, jolloin puhutaan OMS-järjestelmistä (occupant monitoring systems). Tämä ratkaisu kiinnostaa enemmän autonvalmistajia, koska ne voivat tehdä sillä rahaa osana mukavuutta ja viihtyvyyttä lisääviä ominaisuuksia. Kuljettajat voivat käyttää liike- ja kasvotunnistusta ajoasetustensa säätämisessä. Videopuhelut ja sosiaalisen median sovellukset ovat käytettävissä nettiyhteydellä varustettujen ajoneuvojen OMS-järjestelmissä. Osaksi OMS-järjestelmää voidaan yhdistää turvaominaisuuksia, kuten ilmaisun siitä onko lapsi jätetty ilman valvontaa ajoneuvon sisälle tai automaattisesti kytkemään tyhjien tai alle painorajan jäävien miehitettyjen istuinten turvatyynyt pois päältä. Turvasovellukset voivat käyttää OMS-järjestelmiä sisätilojen videovalvonnassa.

Perinteisessä DMS:ssä ja OMS:ssä käytettävät laitteistot ja optiikka ovat erilaisia. DMS:ssä käytetään tyypillisesti globaalilla sulkimella toteutettua lähi-infrapunakuvantamista ja OMS:ssä taas tyypillisesti käytetään pyörivää (rullaavaa) suljinta näkyvällä valolla. Autonvalmistajat haluavat yleisesti yhdistää DMS- ja OMS-järjestelmät DOMS-järjestelmäksi (driver and occupant monitoring systems), jotta saataisiin aikaiseksi kustannuksiltaan alempi ja kooltaan pienempi ratkaisu.

Kuva 1: OMS-ratkaisu (kuva: Business Wire).

Onsemin valikoimassa on tehokkaita kuva-antureita uudenlaisen ratkaisun mahdollistamiseksi, jolloin yhdellä pyörivän sulkimen kuva-anturilla voidaan toteuttaa sekä DMS- että OMS-sovellukset samassa paketissa hyvin toimivaa ja kustannustehokasta DOMS-ratkaisua varten.

Yhtenä ongelmana on se, että DMS asennetaan tavallisimmin ohjauspyörän pylvääseen tai kojelautaan, kun taas OMS:n paras sijoituspaikka on peruutuspeilin yläpuolella tai tukipilareissa. Vaikka suunnittelu onkin monimutkaisempaa, on käymässä selväksi, että molemmat voidaan yhdistää kustannustehokkaasti. Monet autonvalmistajat ovat ryhtyneet asentamaan koko DOMS-ratkaisun käsittäviä paneeleita katonrajaan, tavallisimmin peruutuspeilin yhteyteen.

Surround-näkymä ja peilien sijoittelu

Ajoneuvon ulkopuolelle sijoitettavat surround-kamerat ovat näkyvän valon kameroita, jotka parantavat kuljettajan näköpiiriä peruutus- ja parkkeeraustilanteissa. Tavallisimmin käytetään neljää kameraa: yhtä edessä, yhtä takana, kahta kyljissä olevaa kameraa. Kaikissa kameroissa on laajakulmaobjektiivi ja ne tuottavat kalansilmätyyppistä kuvaa. Kuvankäsittelyn ja edistyneiden algoritmien avulla neljä kuvaa yhdistetään ajoneuvon kuvaan. Tuloksena on kojelaudan näytöllä lintuperspektiivistä esitetty kuva, jossa jäljitellään ajoneuvon yläpuolella olevan kameran kuvaamaa täydellistä näkymää ympäristöstä kuljettajan avuksi. Vastaavia järjestelmiä kutsutaan myös monisuuntanäkymän (omni view) tai 360 asteen näkymän järjestelmiksi.

Kuva 2: Esimerkki surround-näkymäjärjestelmästä (kuva: ExtremeTech).

Ensimmäinen surround-näkymäjärjestelmässä varustettu ajoneuvo oli vuonna 2007 esitelty Infinityn ja Nissasin yhteistyön tulos Infinity EX35. Alkuperäinen järjestelmä tarjosi pelkästään lintuperspektiivinäkymän, mutta uudemmat järjestelmät tarjoavat useita näkymiä etenkin kalliimman hintaluokan ajoneuvoissa.

Kun surround-näkymäjärjestelmään yhdistetään ajoneuvon eri puolille ripoteltuja ultraääniantureita, saadaan järjestelmä, joka toimii tehokkaana törmäysten estäjänä ja helpottaa pysäköintiä ahtaisiin tiloihin. Ultraäänianturien avulla voidaan kuljettajaa myös varoittaa lähestyvistä jalankulkijoista tai liikkuvista kohteista.

Jotkut edistyneemmät järjestelmät antavat näkymän myös konepellin läpi tai jopa hinauksessa olevan perävaunun taakse. Tätä toisinaan kutsutaan röntgennäkymäksi.

Pysäköintiavustuksen lisäksi kyljissä olevia sivukameroita voidaan käyttää perinteisten sivupeilien sijaan ajon aikana. Koska kamerat ovat kooltaan hyvin pieniä, voidaan myös sivupeilien kokoa pienentää, jolloin ajoneuvon aerodynaamiset ominaisuudet paranevat ja polttoainetta säästyy 4 % kilometrillä tai sähköauton tapauksessa ajokilometrit lisääntyvät vastaavasti.

Koska monet autoilijat ovat tottuneet fyysisesti toimivien sivupeilien käyttöön, he saattavat vierastaa teknisesti toimivia peilejä korvaavia järjestelmiä. Toinen hidaste tässä asiassa on eräiden maiden vaatimus, että sivupeilit tulee asentaa varajärjestelmäksi, jolloin edellä mainittu aerodynaaminen etu menetetään. Tästä syystä arvioidaan, että kamerapeilien yleistyminen on hitaampaa kuin surround-näkymän (Howard, 2014).

Ohjelmoitavat ajoneuvot

Ohjelmistoilla määriteltävät ajoneuvot ovat osoitus siitä massiivisesta muutoksesta, joka autosuunnittelussa on käynnissä. Valtava määrä tutkimusta ja kehitystyötä on satsattu itseohjautuvan ajoneuvon toteuttamista varten etenkin viimeisten kuluneiden kymmenen vuoden aikana. Kaikkien anturien ohjelmoiminen tukemaan ajoneuvon itseohjautuvaa ajamista edellyttää niin paljon tietojenkäsittelytehoa, että on ollut tarpeen tehdä merkittäviä muutoksia tapaan ohjata ja käyttää ajoneuvojärjestelmiä ja antureita.

Vuoteen 2015 saakka laajalle levinnyt lähestymistapa oli liittää CAN- tai LIN-verkoilla omilla paikallisprosessoreilla ja ohjelmistoilla varustetut moduulit toisiinsa. Ajoneuvojen ja sen sisältämien järjestelmien tullessa yhä monimutkaisemmiksi alkoi ilmetä tarvetta entistä keskitetymmälle ohjelmoinnille ja verkon ohjainyksikköjen merkitys väheni. Esimerkiksi jos halutaan yhdistää kaikki mahdolliset anturitulot, käsitellä dataa ja lähettää komentoja useille erilaisille turvajärjestelmille ADAS-toimintojen suorittamista varten, tarvitaan ADAS-ohjain. Datanopeudet ovat myös lisääntymässä ja tarvitaan nopeampien datansiirtoprotokollien käyttöönottoa. Lopulta tarvitaan keskitettyä tietojenkäsittelyä, jotta suoriudutaan siitä valtavasta määrästä prosessointitehoa, jota tarvitaan itseohjautuvan ajamisen ja edistyneiden järjestelmien toiminnan mahdollistamiseksi (Morris, 2021).

Kuva 3: Ajoneuvojen verkkoarkkitehtuurien kehitys on edennyt vasemmalla olevasta väyläarkkitehtuurista keskellä olevaan verkko-ohjainarkkitehtuuriin ja edelleen kohti oikealla olevaa keskitettyä tietojenkäsittelyä (Kuva: EE Times ja Siemens Digital).

Matkapuhelimien kehityskulun tavoin kuluttajat ovat kiinnostuneita digitalisista ominaisuuksista ja ohjelmistopäivitysten mahdollistamasta pidemmästä käyttöiästä. Tämä malli on myös autonvalmistajien mieleen, koska heiltä vaaditaan nopeita langattomasti suoritettavia ohjelmistopäivityksiä uusien ominaisuuksien käyttöönottoa ja ohjelmointivirheiden korjaamista varten. Uusia ominaisuuksia kehittämällä autonvalmistajilla on mahdollisuus saada lisää tulovirtaa huoltojen ja tilausten yhteydessä.

Koko autoelektroniikka-alan teollisuus on käymässä samanlaista kehityskulkua ja tunnustelee mitä uusia bisnesmalleja olisi tarjolla kilpakumppanien ja OEM-valmistajien kesken. Jotkut autoalan yritykset ilmoittavat julkisesti olevansa enemmän ohjelmistoyhtiöitä kuin autoyhtiöitä. Ja toki on mainittava, että vaikka Tesla aloitti teknologiayhtiönä vuonna 2003, se aloitti ensimmäisten Roadster-autojen tuotannon vuonna 2008 (Reed, 2020).

Virtuaalinen ja lisätty todellisuus

Suuren mielenkiinnon kohteena tätä nykyä ovat virtuaalitodellisuus, lisätty todellisuus ja metaversumina tunnettu Web 3.0. Metaversumi on netin 3D-versio, jossa kaikella on digitaalinen kaksonen ja jossa on mahdollista aikaansaada täysin uudenlaisia elämyksellisiä, immersiivisiä ja yhteistoiminnallisia kokemuksia.

Markkinoilla on jo olemassa tuulilasinäytöllä varustettuja ajoneuvoja. Nämä HUD-näytöt (head-up display) mahdollistavat, että suuret määrät digitaalista sisältöä voidaan esittää kuljettajalle lisättyä todellisuutta hyödyntäen, esimerkiksi 3D-navigointinäkymät projisoituna tai vaikkapa 3D-videopuhelujen heijastaminen tuulilasiin. Tai vaikkapa 3D-sääennusteita?

On mahdollista, että lasinen tuulilasi tullaan äärimmäisessä tapauksessa korvaamaan yhtenäisellä etuyksiköllä. Lasisen tuulilasin paikalla tulisi olemaan täysin virtuaalisilla näytöillä varustetut valtavat näyttöruudut. Kun ajoneuvot saavuttavat tason 5 itseohjautuvuuden, perinteisille tuulilaseille ei ole enää mitään tarvetta.

Nissan esittämää näkemystä voi ihailla täällä.

Kuva 4: Näkymättömästä näkyväksi Nissanin näkemyksen mukaan.

Yhteenveto

Tässä artikkelisarjassa on esitetty katsaus alkaen alkuaikojen mekaanisesta nopeudensäätimestä Speedostat-järjestelmästä, jatkuen mekaanisten ADAS-järjestelmien kehittymiskulusta sähköisiksi ja siitä edelleen pitkän kehityskaaren kautta kohti ohjelmallisesti määriteltäviä ajoneuvoja ja täydellistä itseohjautuvuutta sekä metaversumin upottamista ajoneuvoon.

Autoalalla ollaan siirtymässä sähköisiin ja digitaalisiin ratkaisuihin ja teknologia muuttuu nopeasti. Samalla kun nyt mielenkiinnon kohteena ovat uudenlaiset ratkaisumallit ja muunnelmat, on hyödyllistä myös tarkastella, mitä aikaisemmin on saatu aikaiseksi ja minkälainen kehityskulku on ollut mitä upeimmilla järjestelmillä, joita pidämme nykyisin itsestään selvyytenä.

Autoalan ja ADAS-järjestelmien merkittävänä toimittajana onsemi on halunnut tarjota tämän artikkelisarjan lukijoiden iloksi. Lisää tietoa yhtiön ADAS-ratkaisuista on saatavissa täällä. 

Viitteet

Barnden, C. (2021, May 13). Busting Myths of Driver Monitoring Systems. Retrieved from EE Times: https://www.eetimes.com/busting-myths-of-driver-monitoring-systems/

Dinges, D. (1995). An Overview of Sleepiness and Accidents. J. Sleep Res. 4, Suppl. 2, 4-14. Retrieved from https://onlinelibrary.wiley.com/doi/epdf/10.1111/j.1365-2869.1995.tb00220.x

Howard, B. (2014, July 18). What are car surround view cameras, and why are they better than they need to be?, Part Two. Retrieved from Extreme Tech: https://www.extremetech.com/extreme/186160-what-are-surround-view-cameras-and-why-are-they-better-than-they-need-to-be/2

Morris, B. (2021, March 29). EE Times. Retrieved from E/E Architecture Considerations for AV Development: https://www.eetimes.com/e-e-architecture-considerations-for-av-development/

NHTSA. (1998). Drowsy Driving and Automobile Crashes. n/a: n/a. Retrieved 11 30, 2021, from https://rosap.ntl.bts.gov/view/dot/1661

Reed, E. (2020, October 5). History of Tesla: Timeline and Facts. Retrieved from TheStreet: https://www.thestreet.com/technology/history-of-tesla-15088992

Unknown. (2021, December 1). Invisible-to-Visible (I2V). Retrieved from Nissan Motor Corporation: https://www.nissan-global.com/EN/TECHNOLOGY/OVERVIEW/i2v.html

Unknown. (2021, December 1). Software-Defined Vehicles - A forthcoming Industrial Evolution. Retrieved from Deloitte: https://www2.deloitte.com/cn/en/pages/consumer-business/articles/software-defined-cars-industrial-revolution-on-the-arrow.html