Grafiikkakorteilla ja tekoälylaskennassa käytetään HBM-muisteja (high bandwidth memory), joissa suorituskykyä kasvatetaan pinoamalla DRAM-siruja päällekkäin. SK Hynix on nyt aloittanut maailman ensimmäisen 12-kerroksisen HBM3E-massatuotannon.
Ensimmäinen viidennen sukupolven 12 DRAM-kerrosta sisältävä HMB-muisti on kapasiteetiltaan 36 gigabitin siru. Kapasiteetti kasvaa selvästi edeltäjästä eli 24 gigabitin piiristä, jossa DRAM-muisteja oli päällekkäin 8 kerroksessa.
HBM-muistien kehitys on ollut nopeaa, sillä neljännen sukupolven sirut esiteltiin asiakkaille ensimmäistä kertaa alalla tämän vuoden maaliskuussa. Ensimmäisen polven HBM-piirinsä korealaisyritys esitteli vuonna 2013 eli tekniikka on reilun 11 vuoden ikäinen.
Yrityksen mukaan 12-kerroksinen HBM3E-tuote täyttää maailman korkeimmat standardit kaikilla tekoälymuistin kannalta oleellisilla alueilla. Dataa voidaan lukea 9,6 gigabitin sekuntinopeudella eli uutuus on tähän asti nopein HBM-muisti. Jos esimerkiksi Llama 70B -kielimallia ohjataan yhdellä GPU:lla, joka on varustettu neljällä HBM3E-muistilla, se pystyy lukemaan 70 miljardia kokonaisparametria 35 kertaa sekunnissa.
HMB-muistin kapasiteetin kasvattaminen 50 prosentilla edellytti sitä, että SK Hynix teki jokaisen DRAM-sirun 40 prosenttia ohuemmaksi kuin ennen. Itse kehittämänsä prosessin avulla se pystyi myös parantamaan lämmönjohtokykyä 10 prosenttia.