Amazonin pilvipalvelu AWS ilmoittaa, että sen asiakkaat pääsevät nyt hyötymään Nvidian tämän hetken tehokkaimmista GPU-prosessoreista. Käytännössä tämä tarkoittaa Nvidia H200 Tensor -ytimiä.

Kyse ei ole aivan mistä tahansa suorittimesta. H200 Tensor Core GPU on tekoälyn ja HCP- laskennan työkuormiin suunniteltu grafiikkaprosessori. Se tarjoaa 141 gigatavua HBM3e-muistia ja 4,8 TB/s kaistanleveyttä datansiirtelyyn.

H200-prosessorin hinnan arvioidaan olevan noin 25 000 - 35 000 dollaria prosessoria kohti. AWS tarjoaa tätä tehoa osana uusia EC2 P5e -instanssejaan ja yhdessä instanssissa asiakkaan käytössä on 8 kappaletta näitä tehoprosessoreita. Tämä tarkoittaa yhteensä 1128 gigatavua muistikapasiteettia ja 30 tetratavua paikallista tallennustilaa. Kokonaiskaista nousee 3200 gigabittiin sekunnissa.

Asiakkaiden kannalta tämä tarkoittaa parempaa suorituskykyä vaikkapa omien GenAI-sovellusten prosessoinnissa. Suurten kielimallien (LLM) koko parametrien lukumäärällä mitattuna on kasvanut eksponentiaalisesti viime vuosina. Mallien koot ovat kasvaneet miljardeista parametreista satoihin miljardeihin parametreihin viiden vuoden aikana. Kun LLM:t ovat kasvaneet, niiden suorituskyky monissa luonnollisen kielen prosessointitehtävissä on myös parantunut merkittävästi, mutta LLM:ien kasvanut koko on johtanut merkittäviin laskennallisiin ja resurssihaasteisiin.

Suuremmat LLM:t vaativat enemmän GPU-muistia malliparametrien ja välilaskutoimien tallentamiseen sekä suurempaa laskentatehoa matriisikertolaskujen ja muiden päättelyyn tarvittavien toimintojen suorittamiseen. Suuret LLM:t vievät kauemmin suorittaakseen yhden päättelyn tämän lisääntyneen laskennan monimutkaisuuden vuoksi. Tämä lisääntynyt laskentavaatimus voi johtaa korkeampaan päättelyviiveeseen, mikä on kriittinen tekijä sovelluksissa, jotka vaativat reaaliaikaisia ​​tai lähes reaaliaikaisia ​​vastauksia.

Ensi vaiheessa AWS tuo uudet EC2 P5e -instanssit asiakkaidensa käyttöön USA.n itäisellä alueella (US East Region).

.

ETNtv

Watch ECF videos

Korteilla vauhtia IoT-kehitykseen

Sulautetun laitteen kehitys onnistuu useimmiten helpoiten valmiiden moduulien avulla. Nykyään niitä saa myös tehokkailla Apollo Lake -sarjan prosessoreilla varustettuna.

Lue lisÀÀ...

Suomen suurin valtti kybersodassa on luottamus

Teknologia19 – Aalto-yliopiston kyberturvallisuusprofessori Jarno Limnéll uskoo, että luotettavuudesta voi tulla suomalaisten yritysten suurin myyntivaltti tulevaisuudessa. – Tärkein kysymys on tulevaisuudessa, kehen ja mihin voimme luottaa. Luottamuksesta on tulossa hyvin arvokas aineeton pääoma yrityksille, Limnéll sanoi eilen messukeskuksessa.

Lue lisÀÀ...

LATEST NEWS

NEW PRODUCTS

 

NEWSFLASH

 SPONSORS

 

congatec is a rapidly growing technology company focusing on embedded and edge computing products and services. The high-performance computer modules are used in a wide range of applications and devices in industrial automation, medical technology, robotics, telecommunications and many other verticals.

CVG Convergens is an ICT services company specialized in embedded systems, smart connected products and ICT systems and processes for SME businesses. Our mission is to help our clients, our team, and the society to improve and thrive by providing reliable and sustainable solutions, services, and products by creative and efficient application of technology.

 

ADLINK Technology leads edge computing, the catalyst for a world powered by artificial intelligence. We manufacture edge hardware and develop edge software for embedded, distributed and intelligent computing - from powering medical PCs in the intensive care unit to building the world’s first high-speed autonomous race car - more than 1600 customers around the world trust ADLINK for mission-critical success.

 

 

Testhouse Nordic is the leading supplier of test and measurement products and solutions in the Nordic countries. We partner with world's most renowned suppliers. Through our expertise and strong relationships with our suppliers, we offer products and services that regularly exceed our customers’ expectations.

 

 

Mespek Oy is established 1989 and our focus is on industrial electronics and producing support services. The main product areas of Mespek are embedded modules, industrial computing, test&measurement modules and server management systems (KVM-switches).

 

BCC Solutions Oy is a Finnish company that, in addition to expert services, offers comprehensive equipment solutions for data transfer and telecommunication networks, as well as their analysis, testing and measurement. We broadly represent the industry's leading brands.

 

 

In cooperation with

 

 

 

and

 





ECF template