Englantilaislähtöisellä Arm:.a on oma neuroverkkoprosessorien sarja, joka on nimeltään Ethos. Nyt perheeseen on tuotu uusi versio. Ethos-U85 on suunniteltu tukemaan muuntaja- eli transformer-toimintoja vähävirtaisissa laitteissa. Käytännössä Arm tuo generatiiviset tekoälymallit IoT-laitteisiin.
Kannattaa toki muistaa, etteivät IoT-laitteet jatkossakaan kykene prosessoimaan suuria kielimalleja eli LLM-malleille perustuvaa tekoälylaskentaa. Tässä vaiheessa Arm kertoo siirtäneensä esimerkiksi konenäkömalli ViT-Tinyn ja generatiivisen kielimallin TinyLlama-1.1B Ethos-U85-piirille.
Ethos-U85:sta puhuttiin paljon jo kuukausi sitten Nürnbergin Embedded World -messuilla. Moni Arm:n asiakas hehkutti uutta NPU-yksikköä ja kertoi jo tuovansa sitä omille siruilleen. Julkisesti asiasta ei tietenkään saanut vielä puhua.
Ethos-U85:ssä on kolmannen sukupolven mikroarkkitehtuuri. Toisen sukupolven U65:een verrattuna U85 on suurimmassa kokoonpanossaan 4 kertaa tehokkaampi ja 20 prosenttia energiatehokkaampi. Sitä voidaan nyt ohjata joko Cortex-A-sovellusprosessoriytimillä tai Cortex-M-sarjan mikro-ohjainytimillä. Aiemmat Ethos-sukupolvet oli rajattu toimimaan vain Cortex-M:n kanssa.
U85 NPU on konfiguroitavissa 128-2048 MAC-operaatiolle. Suorituskyky skaalaa yhden gigahertsin kellotaajuudella 256 miljardin ja 4 biljoonan operaation välissä sekuntia kohti.
Ethos-U85 tukee sekä muuntajaverkkoja sekä konvoluutiohermoverkkoja tekoälypäättelyssä (inferenssi). Muuntajaverkot tulevat ohjaamaan uusia sovelluksia, erityisesti konenäön ja luovan tekoälyn käyttötapauksissa. Käytännössä IoT-laitteen prosessori voi ymmärtää videoita, täytyy kuvista puuttuvia osia tai hyödyntää useita kameroita kuvien luokitteluun ja objektien havaitsemiseen.
Ethos-NPU-perheen on Arm:n mukaan lisensoinut tähän mennessä yli 20 kumppania. Ensimmäisiä käyttäjiä ovat Alif Semiconductor ja Infineon.
