LLM- eli suurten kielimallien merkitys näkyy nyt kaikkialla. Nämä mallit kuten LLaMa-2 tai ChatGPT koostuvat miljardeista parametreista ja vaativat suuren laskentatehon. Tähän useiden biljoonien toimintojen laskentakykyyn pitää pystyä alhaisella energiankulutuksella. Enpanjalaisen Semidynamicsin mukaan RISC-V on laskentaan sopiva alusta.

Yhtiö on juuri julkistanut RISC-V Tensor Unit -yksikön, joka on suunniteltu erittäin nopeille tekoälyratkaisuille ja perustuu sen täysin muokattavissa oleviin 64-bittisiin ytimiin. Tensor-laskentayksikkö tarjoaa ennennäkemättömän laskentatehon suorituskykyä kaipaaville tekoälysovelluksille.

Suurin osa suurten kielimallien (LLM) laskutoimituksista on täysin yhdistetyissä kerroksissa, jotka voidaan toteuttaa tehokkaasti matriisikertolaskuna. Tensor Unit tarjoaa laitteiston, joka on erityisesti räätälöity matriisikertolaskun työkuormille.

Tensor-yksikkö on rakennettu Semidynamics RVV1.0 Vector Processing Unit -yksikön päälle ja hyödyntää olemassa olevia vektorirekistereitä matriisien tallentamiseen. Tämä mahdollistaa tensoriyksikön käytön tasoissa, jotka vaativat matriisin kertomiskykyä. Rakenne on suuri parannus verrattuna itsenäisiin NPU:ihin, joilla on yleensä vaikeuksia käsitellä aktivointitasoja.

Tensor Unit hyödyntää sekä Vector Unit -ominaisuuksia että Atrevido-423 Gazzillion -ytimen ominaisuuksia hakemaan tarvitsemansa tiedot muistista. Tensor-yksiköt kuluttavat dataa hämmästyttävällä nopeudella, ja ilman Gazzillionia normaali ydin ei pysyisi Tensor-yksikön vaatimuksissa. Muut ratkaisut luottavat vaikeasti ohjelmoitaviin DMA:hin tämän ongelman ratkaisemiseksi. Sen sijaan Semidynamics integroi saumattomasti Tensor Unitin välimuistin yhtenäiseen alijärjestelmään, mikä avaa uuden aikakauden ohjelmoinnin yksinkertaisuudessa tekoälyohjelmistoille.

Lisäksi Tensor-yksikkö käyttää vektorirekistereitä tietojensa tallentamiseen. Näin se toimii saumattomasti missä tahansa RISC-V-vektorikäyttöisessä Linuxissa ilman muutoksia. Lisätietoja prosessorista esitellään RISC-V North America -konferenssissa Piilaakson Santa Clarassa 7. marraskuuta 2023.


Osallistu ETNdigi-kisaan ja voita OnePlus Watch 2 Nordic Blue Edition. Lue lisää täällä.

ETNtv

Watch ECF videos

Korteilla vauhtia IoT-kehitykseen

Sulautetun laitteen kehitys onnistuu useimmiten helpoiten valmiiden moduulien avulla. Nykyään niitä saa myös tehokkailla Apollo Lake -sarjan prosessoreilla varustettuna.

Lue lisää...

Suomen suurin valtti kybersodassa on luottamus

Teknologia19 – Aalto-yliopiston kyberturvallisuusprofessori Jarno Limnéll uskoo, että luotettavuudesta voi tulla suomalaisten yritysten suurin myyntivaltti tulevaisuudessa. – Tärkein kysymys on tulevaisuudessa, kehen ja mihin voimme luottaa. Luottamuksesta on tulossa hyvin arvokas aineeton pääoma yrityksille, Limnéll sanoi eilen messukeskuksessa.

Lue lisää...

LATEST NEWS

NEW PRODUCTS

 

NEWSFLASH

 SPONSORS

 

congatec is a rapidly growing technology company focusing on embedded and edge computing products and services. The high-performance computer modules are used in a wide range of applications and devices in industrial automation, medical technology, robotics, telecommunications and many other verticals.

CVG Convergens is an ICT services company specialized in embedded systems, smart connected products and ICT systems and processes for SME businesses. Our mission is to help our clients, our team, and the society to improve and thrive by providing reliable and sustainable solutions, services, and products by creative and efficient application of technology.

 

AcalBfi is a leader in the development of custom technology solutions for electronic applications. Our engineers and our approach will ensure we can solve your technical challenges with custom solutions that integrate multiple technologies.

 

Analog Devices, Inc. is a global semiconductor leader that bridges the physical and digital worlds to enable breakthroughs at the Intelligent Edge. ADI combines analog, digital, and software technologies into solutions that help drive advancements in digitized factories, mobility, and digital healthcare, combat climate change, and reliably connect humans and the world.

 

EBV Elektronik was founded in 1969 and is one of the leading specialists in European semiconductor distribution. This success is based on the underlying company philosophy, which was developed a long time ago and which still applies today: operational excellence, flexibility, reliability and execution – with the goal of achieving the highest degree of customer satisfaction. 

  

The Rohde & Schwarz technology group develops, produces and markets a wide range of electronic capital goods. With its extensive product portfolio, the company makes an important contribution to a safer and connected world. In the test & measurement, secure communications, networks & cybersecurity and broadcast & media markets, customers worldwide rely on Rohde & Schwarz and its cutting-edge solutions.

 

Mespek is an industrial electronics company. Our main product areas are embedded modules, industrial computing, test & measurement modules and server management systems (KVM-switches). Besides our domestic customers we have clients also in several countries such as Benelux, China, Estonia, Ireland, Norway, Russia, Sweden, Switzerland, et cetera..

 

We offer unique and cost-effective customized solutions based on electronic components and systems, as well as standard products from selected manufacturers. We also have own production company for electronics and cabling in Sweden. We have 90 years of experience, deep engagement, knowledge together with trustworthy and effective logistics worldwide. We are ISO 9001 and ISO 14001 certificated.

 

Richardson RFPD, an Arrow Electronics Company, is an electronic component distributor focused on RF and Wireless Communications, industrial IoT, Power Conversion and renewable energy markets. With our global reach and extensive technical capability, we serve our customers through component development and selection, technical support, and world-class logistics and supply chain capabilities. Whether designing with discrete components or looking to take advantage of integrated circuits or systems RichardsonRFPD’s worldwide design centers and technical sales team provide comprehensive support to bring your product ideas to market.

u‑blox is a global technology leader in positioning and wireless communication in automotive, industrial, and consumer markets. Their smart and reliable solutions, services and products let people, vehicles, and machines determine their precise position and communicate wirelessly over cellular and short range networks. With a broad portfolio of chips, modules, and secure data services and connectivity, u‑blox is uniquely positioned to empower its customers to develop innovative and reliable solutions for the Internet of Things, quickly and cost‑effectively.

KYOCERA AVX is a leading global manufacturer of advanced electronic components, including antennas, fuses, capacitors, filters, couplers and RF switches, engineered to accelerate technological innovation and build a better future. Supplying more than one million antennas per day, KYOCERA AVX is an industry-leading supplier of innovative antenna solutions, covering all major frequency bands and applications. KYOCERA AVX antennas utilize a wide array of materials -including LDS, stamped metal, ceramic, PCB, and FPC- to support a variety of custom and standard configurations (external indoor/outdoor, embedded on/off-board).

 

 





ECF template