OpenAI on julkistanut ensimmäisiä mittaustuloksia omasta Jalapeno-tekoälypiiristään. Piiri on suunniteltu erityisesti kielimallien inferenssiin ja interaktiivisiin tekoälyagentteihin, joissa sekä suuri läpimeno että pieni viive ovat tärkeitä.
OpenAI mukaan Jalapeno tuottaa kolmella julkisella mallilla 1,5–1,9 kertaa enemmän tekoälylaskentaa wattia kohti kuin vertailujärjestelmät. Samalla päästä päähän -latenssi oli 1,7–3,6 kertaa pienempi. Erittäin interaktiivisissa kuormissa suorituskyky oli 2,1–4,1-kertainen.
Piiriä ei ole optimoitu vain yksittäiseen laskentavaiheeseen. Kielimallin promptin käsittely eli prefill vaatii paljon laskentaa, kun taas token kerrallaan etenevä decode-vaihe on enemmän muistiväylän rajoittama. Jalapenossa laskenta, muisti, verkkoyhteydet ja ohjelmisto on suunniteltu yhdessä siten, että datan liikuttelua ja eri piirien välistä viivettä voidaan vähentää.
OpenAI käytti tekoälyä myös Jalapenon suunnittelussa. Yhtiön mukaan AI auttoi tutkimaan toteutusvaihtoehtoja, lyhentämään suunnittelu- ja verifiointikierroksia sekä optimoimaan piirin aritmetiikkaa. Ensimmäisestä suunnittelusta ensimmäiseen piitoteutukseen eli tapeoutiin päästiin yhdeksässä kuukaudessa.
Tekoälyä käytetään myös piirin ohjelmointiin. Valituissa GPT-OSS-mallin lohkoissa tekoälyn tuottamat toteutukset toimivat OpenAI:n mukaan 1,5–1,8 kertaa nopeammin kuin suunnittelijoiden kirjoittamat versiot.
OpenAI aikoo ottaa Jalapenon käyttöön omassa laskentainfrastruktuurissaan vuoden loppuun mennessä. Toisen sukupolven piiri on jo pitkällä kehityksessä ja kolmatta sukupolvea suunnitellaan.
Suojattu flash-muisti tarjoaa verkkoon liitetyille laitteille ja järjestelmille laitteistopohjaisen suojauskerroksen ja täyttää NIST SP800-193 -ohjeistuksen mukaiset häiriönsietovaatimukset. Muistipiireihin erikoistuneen Winbondin kehittämä suojattu flash-piiri on myös suoraan korvaava ja täysin yhteensopiva tavanomaisten NOR-flash-piirien kanssa.
