Piilaaksolainen Cerebras on aiemmin saanut julkisuutta prosessoreilla, jotka piillä vaativat koko 300-millisen kiekon tarjoaman alan. Nyt yhtiö on kaksinkertaistanut maailman tehokkaimman tekoälyprosessorin suorituskyvyn. Sen tehoa tarvitaan kouluttamaan AI-malleja, jotka ovat 10 kertaa GPT-4-mallia suurempia.
WSE-3-piiri valmistetaan 5 nanometrin prosessissa. Sirulla on neljä biljoonaa eli 4000 miljardia transistoria. Se on täysin varmasti maailman suurin monoliittinen puolijohde, sillä mikään muu prosessori ei vie koko piikiekkoa. Laskentaytimiä jättipiirillä on 900 000.
Suurimpien tekoälymallien koulutukseen suunniteltu piiri on perustana Cerebras CS-3 AI -supertietokoneelle, joka laskentateho kirjataan lukemin 125 petaflopsia. SRAM-muistia prosessorilla on 44 gigatavua. Ulkoisen muistin vaihtoehdot ovat 1,5 tai 12 teratavua, ja enimmillään 1,2 petatavua.
Tällaista laskentatehoa tarvitaan kouluttamaan seuraavan sukupolven huippumalleja, jotka ovat 10 kertaa suurempia kuin tämän hetken GPT-4 ja Gemini. 24 biljoonaa parametrimallia voidaan tallentaa yhteen loogiseen muistitilaan ilman osiointia, mikä nopeuttaa tällaisten massiivisten mallien koulutusta merkittävästi. Cerebrasin mukaan biljoonan parametrin mallin opettaminen CS-3:lla on yhtä yksinkertaista kuin miljardin parametrin mallin opettaminen GPU-prosessoreilla.
CS-3 on käytännössä palvelinjärjestelmä, joka skaalautuu täydessä mittakaavassa 2048 prosessoriin. Tämän järjestelmän avulla Llama 70B -malli voidaan kouluttaa tyhjästä yhdessä päivässä. Lukema on ennenkuulumaton.
Uusin Cerebras Software Framework tarjoaa alkuperäisen tuen PyTorch 2.0:lle ja uusimmille tekoälymalleille ja -tekniikoille, kuten multimodaalimalleille, kuvamuuntajille, ja diffuusiolle.
Cerebrasilla on vakaa asiakaskunta. Yhtiö ei ole kuitenkaan kertonut, kuinka paljon sen kiekkokokoiset jättiprosessorit maksavat.
Saksalaislähtöinen Ubitium on kehittänyt innovatiivisen prosessoriarkkitehtuurin, joka yhdistää eri suorittimien (CPU, GPU, DSP, FPGA) toiminnot yhteen siruun. Yrityksen mukaan tämä uusi RISC-V-arkkitehtuuriin perustuva ratkaisu mullistaa yli 50 vuotta vanhan suorittimien suunnittelun.
Moni uusi sähköauton omistaja kokee toimintasädeahdistusta. Tätä ongelmaa autonvalmistajat voivat helpottaa siirtymällä piipohjaista IGBT-piireissä piikarbidiopohjaisiin siruihin. auton vetoinvertterissä.
