LLM- eli suurten kielimallien merkitys näkyy nyt kaikkialla. Nämä mallit kuten LLaMa-2 tai ChatGPT koostuvat miljardeista parametreista ja vaativat suuren laskentatehon. Tähän useiden biljoonien toimintojen laskentakykyyn pitää pystyä alhaisella energiankulutuksella. Enpanjalaisen Semidynamicsin mukaan RISC-V on laskentaan sopiva alusta.
Yhtiö on juuri julkistanut RISC-V Tensor Unit -yksikön, joka on suunniteltu erittäin nopeille tekoälyratkaisuille ja perustuu sen täysin muokattavissa oleviin 64-bittisiin ytimiin. Tensor-laskentayksikkö tarjoaa ennennäkemättömän laskentatehon suorituskykyä kaipaaville tekoälysovelluksille.
Suurin osa suurten kielimallien (LLM) laskutoimituksista on täysin yhdistetyissä kerroksissa, jotka voidaan toteuttaa tehokkaasti matriisikertolaskuna. Tensor Unit tarjoaa laitteiston, joka on erityisesti räätälöity matriisikertolaskun työkuormille.
Tensor-yksikkö on rakennettu Semidynamics RVV1.0 Vector Processing Unit -yksikön päälle ja hyödyntää olemassa olevia vektorirekistereitä matriisien tallentamiseen. Tämä mahdollistaa tensoriyksikön käytön tasoissa, jotka vaativat matriisin kertomiskykyä. Rakenne on suuri parannus verrattuna itsenäisiin NPU:ihin, joilla on yleensä vaikeuksia käsitellä aktivointitasoja.
Tensor Unit hyödyntää sekä Vector Unit -ominaisuuksia että Atrevido-423 Gazzillion -ytimen ominaisuuksia hakemaan tarvitsemansa tiedot muistista. Tensor-yksiköt kuluttavat dataa hämmästyttävällä nopeudella, ja ilman Gazzillionia normaali ydin ei pysyisi Tensor-yksikön vaatimuksissa. Muut ratkaisut luottavat vaikeasti ohjelmoitaviin DMA:hin tämän ongelman ratkaisemiseksi. Sen sijaan Semidynamics integroi saumattomasti Tensor Unitin välimuistin yhtenäiseen alijärjestelmään, mikä avaa uuden aikakauden ohjelmoinnin yksinkertaisuudessa tekoälyohjelmistoille.
Lisäksi Tensor-yksikkö käyttää vektorirekistereitä tietojensa tallentamiseen. Näin se toimii saumattomasti missä tahansa RISC-V-vektorikäyttöisessä Linuxissa ilman muutoksia. Lisätietoja prosessorista esitellään RISC-V North America -konferenssissa Piilaakson Santa Clarassa 7. marraskuuta 2023.