Nvidian uudesta Blackwell-prosessorista on puhuttu paljon, mutta eniten huomiota on saanut sen myöhästyminen. Nyt yritys on kuitenkin esitellyt suorittimen ensimmäisiä testituloksia ja ne ovat erittäin lupaavia.
Nvidian mukaan Blackwell-prosessorit ylsi MLPerf-testin suurimmalla LLM-kuormalla neljä kertaa parempaan suorituskykyyn kuin edeltäjänsä eli H100-prosessori. Testissä laite päättelee (inference) Llama 2 70B -mallilla satunnaisia syötteitä. Nvidian mukaan tulosprannus perustuu siihen, että Blackwellissä käytetään toisen sukupolven muunnosmoottoria (Transformer Engine) ja FP4 Tensor Core -ytimiä.
MLPerf-testit ovat todellisia stressitestejä prosessoreille. Esimerkiksi uusin suuri kielimalli Mixtral 8x7B pitää sisällään 46,7 miljardia parametriä, joista yhden merkin tai merkkiyhdistelmän (LLM-kielellä token) kohdalla aktiivisia parametreja on 12,9 miljardia.
Nvidia kertoo myös edistysakselista verkon reunalla tapahtuvassa ML-päättelyssä. Nvidian Jetson-alusta voi jo nyt käyttää kaikkia malleja paikallisesti, mukaan lukien LLM-kielimallit ja Stable Diffusion -laskenta.
Kun suurteholaskennan (HPC) työkuormat monimutkaistuvat, generatiivinen tekoäly sulautuu yhä tiiviimmin moderneihin järjestelmiin ja lisää kehittyneiden muistiratkaisujen tarvetta. Vastatakseen näihin muuttuviin vaatimuksiin ala kehittää uuden sukupolven muistiarkkitehtuureja, jotka maksimoivat kaistanleveyden, minimoivat latenssin ja parantavat energiatehokkuutta.
