Sveitsiläinen startup Mosaic SoC haluaa siirtää konenäön pois raskaiden sovellusprosessoreiden ja GPU-kiihdytyksen varasta omaksi, erilliseksi piirikseen. Tavoitteena on tuoda reaaliaikainen tilannetaju – niin sanottu spatial intelligence – pieniin, akkukäyttöisiin laitteisiin ilman nykyisiä teho- ja lämpökompromisseja.
Nykyisissä ratkaisuissa konenäkö ja ympäristön ymmärtäminen nojaavat tyypillisesti sovellusprosessorin ja grafiikkakiihdyttimen yhdistelmään. Tämä toimii esimerkiksi huippuluokan XR-laitteissa, mutta kuluttaa paljon virtaa ja rajoittaa laitteiden kokoa. Siksi jatkuva, always-on -tyyppinen konenäkö ei ole käytännössä mahdollinen kevyissä wearable-laitteissa.
Mosaic SoC lähestyy ongelmaa arkkitehtuuritasolla eri kulmasta. Yhtiö kehittää dedikoitua piiriä, joka käsittelee suoraan kamera- ja liikesensoridataa ja muodostaa reaaliaikaisen mallin laitteen ympäristöstä. Käytännössä piiri yhdistää konenäön, paikannuksen ja sensorifuusion yhdeksi jatkuvasti toimivaksi peruskerrokseksi.
Tämä mahdollistaa esimerkiksi sen, että laite tietää koko ajan missä se on ja mitä sen ympärillä tapahtuu. Piiri pystyy rakentamaan paikallisen kartan ympäristöstä, tunnistamaan objekteja ja seuraamaan niiden liikettä ilman, että dataa tarvitsee lähettää pilveen tai käsitellä raskaassa sovellusprosessorissa.
Keskeinen ero nykyisiin XR-ratkaisuihin on energiatehokkuus. Siinä missä Apple ja Qualcomm rakentavat tilannetajun pitkälti yleiskäyttöisten prosessorien ja kiihdyttimien päälle, Mosaic SoC käyttää omaa moniydinarkkitehtuuriaan, jossa on kahdeksan tai enemmän ydintä optimoituna nimenomaan konenäön ja paikannuksen laskentaan. Tavoitteena on maksimoida suorituskyky wattia kohden, jotta jatkuva havainnointi olisi mahdollista myös pienissä laitteissa.
Teknisesti ratkaisu toimii eräänlaisena rinnakkaisprosessorina. Älypuhelimessa se voi esimerkiksi kytkeytyä etukameraan ja hoitaa jatkuvan kohteiden tunnistuksen ja liikkeenseurantaa hyvin pienellä teholla. Tällöin varsinainen sovellusprosessori aktivoituu vasta, kun jotain merkityksellistä tapahtuu – esimerkiksi tietty objekti ilmestyy kuvaan. Tämä mahdollistaa jatkuvan “valmiustilan” ilman akun nopeaa tyhjenemistä.
AR-laseissa vaikutus on vielä suurempi. Kun tilannetaju saadaan irti raskaasta laskentapinosta, lasit voivat olla fyysisesti lähempänä tavallisia silmälaseja. Samalla ne pystyvät silti ankkuroimaan digitaaliset elementit ympäristöön, muistamaan objektien sijainteja ja rakentamaan reaaliaikaisen tilakartan käyttäjän ympärille.
Mosaic SoC ei tarjoa pelkkää piiriä, vaan myös ohjelmistokerroksen. Piirin mukana tulee valmis sovellus- ja kehitysympäristö, jonka päälle laitevalmistajat voivat rakentaa omat ratkaisunsa ilman, että niiden tarvitsee kehittää konenäkö- ja paikannusalgoritmiikkaa alusta alkaen. Tämä voi merkittävästi pienentää ODM-valmistajien kehityskuormaa ja nopeuttaa uusien laitteiden markkinoilletuloa.
Mosaic SoC kertoi samalla keränneensä 3,8 miljoonan dollarin siemenrahoituksen. Kierrosta johti Founderful, ja siihen osallistui myös Kick Foundation.
Suojattu flash-muisti tarjoaa verkkoon liitetyille laitteille ja järjestelmille laitteistopohjaisen suojauskerroksen ja täyttää NIST SP800-193 -ohjeistuksen mukaiset häiriönsietovaatimukset. Muistipiireihin erikoistuneen Winbondin kehittämä suojattu flash-piiri on myös suoraan korvaava ja täysin yhteensopiva tavanomaisten NOR-flash-piirien kanssa.