Cerebrasin laskenta perustuu CS-3-järjestelmiin, joiden sisällä työskentelee maailman suurimmaksi kaupalliseksi prosessoriksi kutsuttu Wafer Scale Engine 3 eli WSE-3. Cerebrasin tekoälylaskenta poikkeaa tavallisista Nvidian grafiikkapiireihin perustuvista datakeskuksista. WSE-3 on lähes kokonaisen piikiekon kokoinen prosessori, johon on pakattu neljä biljoonaa transistoria ja 900 000 tekoäly-ydintä. Ratkaisun tarkoituksena on saada tekoälymallit vastaamaan nopeammin poistamalla sirujen ja muistien välisen liikenteen pullonkauloja.
WSE-3 pinta-ala on 46 225 neliömillimetriä. Noin 21,5 senttimetriä leveä piiri kattaa suuren osan 300 millimetrin piikiekosta, kun tavallisesti yhdeltä kiekolta leikataan kymmeniä tai satoja erillisiä prosessoreita. TSMC:n viiden nanometrin prosessissa valmistettuun piiriin on integroitu neljä biljoonaa transistoria, 900 000 tekoäly-ydintä ja 44 gigatavua SRAM-muistia. Huippulaskentatehoksi Cerebras ilmoittaa 125 petaflopsia.
Näin suuren piirin valmistamista pidettiin pitkään epäkäytännöllisenä. Mitä suurempi piiri on, sitä todennäköisemmin sen alueelle osuu valmistusvirhe, joka tekisi tavallisesta prosessorista käyttökelvottoman. Cerebras kiertää ongelman ylimääräisillä laskentaytimillä ja tiedonsiirtoreiteillä. Vialliset alueet suljetaan pois käytöstä ja liikenne ohjataan niiden ympäri. Myyntiin toimitettavassa WSE-3 on 970 000 fyysisestä ytimestä käytössä 900 000.
Cerebrasin tärkein lupaus liittyy muistiliikenteeseen. Suurten kielimallien ajamisessa nopeutta ei useinkaan rajoita laskentaytimien määrä vaan se, kuinka nopeasti mallin parametrit saadaan muistista prosessorille. Grafiikkapiireihin perustuvassa järjestelmässä tietoa siirretään HBM-muistista GPU ja edelleen useiden GPU-piirien välillä.
WSE-3 44 gigatavua SRAM-muistia on sijoitettu samalle piikiekolle laskentaytimien kanssa. Cerebras ilmoittaa sirunsisäiseksi muistiväyläksi 21 petatavua sekunnissa. Kun malli ei mahdu yhdelle kiekolle, sen kerrokset voidaan jakaa useiden CS-3-järjestelmien kesken. Yhtiön mukaan 20 miljardin parametrin malli voidaan ajaa yhdellä järjestelmällä ja 70 miljardin parametrin malli neljällä.
Juuri tämä tekee Cerebrasin suomalaisesta datakeskuksesta enemmän kuin uuden palvelinhallin. Yhtiö rakentaa Eurooppaan ennen kaikkea inferenssikapasiteettia eli infrastruktuuria, jolla valmiit tekoälymallit tuottavat vastauksia käyttäjille. Cerebras yrittää haastaa GPU-klusterit nopeudella: mallin vastauksen ei pitäisi jäädä odottamaan parametrien siirtämistä muistista toiselle sirulle.
Cerebras aikoo kasvattaa eurooppalaisen kapasiteettinsa 200 megawattiin vuoden 2027 loppuun mennessä. Osan kapasiteetista odotetaan palvelevan OpenAI-laskentakuormia. Yhtiö ei ole eritellyt, kuinka suuri osuus kokonaisuudesta rakennetaan Suomeen tai sijoitetaanko OpenAI:lle tarkoitettua kapasiteettia juuri tänne.
Tekoäly siirtyy pilvestä koneisiin, kameroihin, antureihin ja robotteihin. Reunalla yksi laitteistoratkaisu ei kuitenkaan sovi kaikkeen, vaan suorituskyky on sovitettava mallin, datan ja käyttökohteen mukaan.
