Generatiivinen tekoäly LLM-kielimalleineen on valloittanut maailman vain vuoden aikana, mutta edelleen käyttäjien kanssa keskustelee pilvipalvelimilla pyörivä ohjelmisto. Piilaaksolaisen Kinaran toisen sukupolven GenAI-prosessori lupaa tuoda tekoälyn verkon reunalle erilaisiin pienempiin laitteisiin.
Kinara Ara-2 -prosessori tarjoaa tehoa reunapalvelimille ja kannettaville korkean suorituskyvyn, kustannustehokkaan ja energiatehokkaan tavan tehdä esimerkiksi videoanalytiikkaa. Se tukee paitsi LLM-kielimalleja, myös muita generatiivisia tekoälymalleja. Ara-2 on Kinaran mukaan myös ihanteellinen reunasovelluksiin, joissa käytetään perinteisiä tekoälymalleja ja tekoälymalleja muuntajapohjaisilla arkkitehtuureilla.
LLM-malleista ja generatiivisesta tekoälystä ylipäätään on tullut uskomattoman suosittuja, mutta useimmat niihin liittyvät sovellukset toimivat datakeskusten GPU-prosessoreilla. Laskentaa rasitta korkea latenssi, prosessorikorttien kallis hinta ja datan yksityisyyteen liittyvät epävarmuudet. Ara-2 antaa laskennan kirjaimellisesti käyttäjän käsiin.
Ensimmäisen polven prosessoriin verrattuna Ara-2 tuo jopa 5-8-kertaisen suorituskyvyn. Prosessori tulee 10 miljardia parametria, joita generatiiviset tekoälymallit käyttävät. Ara-2:n ohjelmistokehitysalusta (SDK) on suunniteltu erityisesti tukemaan erittäin tarkkaa kvantisointia, dynaamisesti moderoitua runtime-ajonaikaa, ja suoraa FP32-laskentaa.
Kinaran toimitusjohtaja Ravi Annavajjhalan mukaan Ara-1 on oikea ratkaisu älykameroihin sekä 2-8 videostriimin prosessointiin verkon reunalla, kun taas Ara-2 sopii erinomaisesti reunapalvelimiin syötettyjen 16-32 videostriimin käsittelyyn sekä kannettaviin tietokoneisiin. erityisesti jälkimmäinen avaa varsin mielenkiintoisia odotuksia generatiivisen tekoälyn tulevaisuudesta.
Kinaran mukaan Ara-2 kykenee tuottamaan kuvia tekstistä Stable Diffusion -ohjelmistolla noin kerran puolessa sekunnissa. Mikään pilvilaskenta ei kykene tähän latenssien vuoksi.
Ara-2 on saatavana erillispiirinä, USB-moduulina, M.2-moduulina ja PCIe-korttina, jossa on useita Ara-2-kortteja. Kinara lupaa demota prosessorin suorituskykyä CES-messuilla Las Vegasissa tammikuun toisella viikolla.
