Datakeskusten muistiteknologia on saamassa yllättävän vaikutteen mobiilimaailmasta. Tekoälykuormien kasvaessa palvelimissa ollaan siirtymässä kohti vähävirtaista LPDDR-muistia, joka on tähän asti tunnettu ennen kaikkea älypuhelimista. Micron on nyt esitellyt uuden 256 gigatavun SOCAMM2-moduulin, joka on yhtiön mukaan alan suurikapasiteettisin LPDRAM-palvelinmuisti.
LPDDR (Low Power DDR) on kehitetty alun perin mobiililaitteisiin, joissa energiatehokkuus on ratkaisevaa. Perinteisissä palvelimissa on sen sijaan käytetty DDR-pohjaisia RDIMM-moduuleja, jotka tarjoavat suuren kapasiteetin mutta kuluttavat enemmän sähköä. Tekoälypalvelimissa muistista on kuitenkin tullut yksi keskeisistä energian ja jäähdytyksen kuluttajista, mikä on lisännyt kiinnostusta LPDDR-ratkaisuihin.
Micronin uusi moduuli perustuu yhtiön mukaan alan ensimmäiseen monoliittiseen 32 gigabitin LPDDR5X-muistisiruunsa. Sen avulla SOCAMM2-moduulin kapasiteetti kasvaa 256 gigatavuun. Aiemmin suurin vastaava moduuli oli 192 gigatavua.
Suurempi kapasiteetti mahdollistaa jopa kahden teratavun LPDRAM-muistin yhdessä kahdeksankanavaisessa palvelinprosessorissa. Tämä on tärkeää erityisesti tekoälyn inferenssityökuormille, joissa suuret konteksti-ikkunat ja niin sanotut key-value-välimuistit vaativat runsaasti muistia.
Micronin mukaan LPDRAM-ratkaisu voi kuluttaa vain noin kolmanneksen vastaavan RDIMM-muistin sähköstä ja viedä vain kolmanneksen tilasta palvelimessa. Samalla suorituskyky voi parantua esimerkiksi pitkän kontekstin LLM-inferenssissä, jossa niin sanottu time-to-first-token voi yhtiön mukaan nopeutua yli kaksinkertaiseksi.
SOCAMM-arkkitehtuurissa LPDDR-muistit on pakattu pieneen vaihdettavaan moduuliin. Tämä ratkaisee yhden LPDDR-muistin perinteisen ongelman datakeskuksissa: mobiililaitteissa muisti on yleensä juotettu suoraan prosessorin viereen, mikä vaikeuttaa huoltoa ja laajentamista. Modulaarinen rakenne tekee muistista palvelinympäristöön paremmin sopivaa.
Teknologian kehitys liittyy läheisesti tekoälypalvelimien arkkitehtuureihin. SOCAMM-ratkaisun juuret ovat NVIDIAn Grace-prosessoreissa, joissa käytetään LPDDR5X-muistia energiatehokkuuden parantamiseksi. Uusi SOCAMM2-versio on parhaillaan etenemässä JEDEC-standardointiin, mikä voi laajentaa teknologian käyttöä useiden valmistajien palvelimiin.
Muistivalmistajat Samsung, SK hynix ja Micron kehittävät kaikki omia SOCAMM2-ratkaisujaan. Alan analyytikot arvioivat, että LPDDR-pohjaiset palvelinmuistit voivat alkaa yleistyä tekoälydatakeskuksissa laajemmin vuosikymmenen loppua kohti.
