Generatiivinen tekoäly LLM-kielimalleineen on valloittanut maailman vain vuoden aikana, mutta edelleen käyttäjien kanssa keskustelee pilvipalvelimilla pyörivä ohjelmisto. Piilaaksolaisen Kinaran toisen sukupolven GenAI-prosessori lupaa tuoda tekoälyn verkon reunalle erilaisiin pienempiin laitteisiin.
Kinara Ara-2 -prosessori tarjoaa tehoa reunapalvelimille ja kannettaville korkean suorituskyvyn, kustannustehokkaan ja energiatehokkaan tavan tehdä esimerkiksi videoanalytiikkaa. Se tukee paitsi LLM-kielimalleja, myös muita generatiivisia tekoälymalleja. Ara-2 on Kinaran mukaan myös ihanteellinen reunasovelluksiin, joissa käytetään perinteisiä tekoälymalleja ja tekoälymalleja muuntajapohjaisilla arkkitehtuureilla.
LLM-malleista ja generatiivisesta tekoälystä ylipäätään on tullut uskomattoman suosittuja, mutta useimmat niihin liittyvät sovellukset toimivat datakeskusten GPU-prosessoreilla. Laskentaa rasitta korkea latenssi, prosessorikorttien kallis hinta ja datan yksityisyyteen liittyvät epävarmuudet. Ara-2 antaa laskennan kirjaimellisesti käyttäjän käsiin.
Ensimmäisen polven prosessoriin verrattuna Ara-2 tuo jopa 5-8-kertaisen suorituskyvyn. Prosessori tulee 10 miljardia parametria, joita generatiiviset tekoälymallit käyttävät. Ara-2:n ohjelmistokehitysalusta (SDK) on suunniteltu erityisesti tukemaan erittäin tarkkaa kvantisointia, dynaamisesti moderoitua runtime-ajonaikaa, ja suoraa FP32-laskentaa.
Kinaran toimitusjohtaja Ravi Annavajjhalan mukaan Ara-1 on oikea ratkaisu älykameroihin sekä 2-8 videostriimin prosessointiin verkon reunalla, kun taas Ara-2 sopii erinomaisesti reunapalvelimiin syötettyjen 16-32 videostriimin käsittelyyn sekä kannettaviin tietokoneisiin. erityisesti jälkimmäinen avaa varsin mielenkiintoisia odotuksia generatiivisen tekoälyn tulevaisuudesta.
Kinaran mukaan Ara-2 kykenee tuottamaan kuvia tekstistä Stable Diffusion -ohjelmistolla noin kerran puolessa sekunnissa. Mikään pilvilaskenta ei kykene tähän latenssien vuoksi.
Ara-2 on saatavana erillispiirinä, USB-moduulina, M.2-moduulina ja PCIe-korttina, jossa on useita Ara-2-kortteja. Kinara lupaa demota prosessorin suorituskykyä CES-messuilla Las Vegasissa tammikuun toisella viikolla.
Virtaamamittaus on monissa laitteissa kriittinen mutta usein ongelmallinen toiminto. Perinteiset mekaaniset anturit kuluvat ja jäävät sokeiksi pienille virtausnopeuksille. Ultraäänitekniikkaan perustuvat valmiit moduulit tarjoavat nyt tarkan, huoltovapaan ja helposti integroitavan vaihtoehdon niin kuluttaja- kuin teollisuussovelluksiin.