Datakeskusten muistiteknologia on saamassa yllättävän vaikutteen mobiilimaailmasta. Tekoälykuormien kasvaessa palvelimissa ollaan siirtymässä kohti vähävirtaista LPDDR-muistia, joka on tähän asti tunnettu ennen kaikkea älypuhelimista. Micron on nyt esitellyt uuden 256 gigatavun SOCAMM2-moduulin, joka on yhtiön mukaan alan suurikapasiteettisin LPDRAM-palvelinmuisti.
LPDDR (Low Power DDR) on kehitetty alun perin mobiililaitteisiin, joissa energiatehokkuus on ratkaisevaa. Perinteisissä palvelimissa on sen sijaan käytetty DDR-pohjaisia RDIMM-moduuleja, jotka tarjoavat suuren kapasiteetin mutta kuluttavat enemmän sähköä. Tekoälypalvelimissa muistista on kuitenkin tullut yksi keskeisistä energian ja jäähdytyksen kuluttajista, mikä on lisännyt kiinnostusta LPDDR-ratkaisuihin.
Micronin uusi moduuli perustuu yhtiön mukaan alan ensimmäiseen monoliittiseen 32 gigabitin LPDDR5X-muistisiruunsa. Sen avulla SOCAMM2-moduulin kapasiteetti kasvaa 256 gigatavuun. Aiemmin suurin vastaava moduuli oli 192 gigatavua.
Suurempi kapasiteetti mahdollistaa jopa kahden teratavun LPDRAM-muistin yhdessä kahdeksankanavaisessa palvelinprosessorissa. Tämä on tärkeää erityisesti tekoälyn inferenssityökuormille, joissa suuret konteksti-ikkunat ja niin sanotut key-value-välimuistit vaativat runsaasti muistia.
Micronin mukaan LPDRAM-ratkaisu voi kuluttaa vain noin kolmanneksen vastaavan RDIMM-muistin sähköstä ja viedä vain kolmanneksen tilasta palvelimessa. Samalla suorituskyky voi parantua esimerkiksi pitkän kontekstin LLM-inferenssissä, jossa niin sanottu time-to-first-token voi yhtiön mukaan nopeutua yli kaksinkertaiseksi.
SOCAMM-arkkitehtuurissa LPDDR-muistit on pakattu pieneen vaihdettavaan moduuliin. Tämä ratkaisee yhden LPDDR-muistin perinteisen ongelman datakeskuksissa: mobiililaitteissa muisti on yleensä juotettu suoraan prosessorin viereen, mikä vaikeuttaa huoltoa ja laajentamista. Modulaarinen rakenne tekee muistista palvelinympäristöön paremmin sopivaa.
Teknologian kehitys liittyy läheisesti tekoälypalvelimien arkkitehtuureihin. SOCAMM-ratkaisun juuret ovat NVIDIAn Grace-prosessoreissa, joissa käytetään LPDDR5X-muistia energiatehokkuuden parantamiseksi. Uusi SOCAMM2-versio on parhaillaan etenemässä JEDEC-standardointiin, mikä voi laajentaa teknologian käyttöä useiden valmistajien palvelimiin.
Muistivalmistajat Samsung, SK hynix ja Micron kehittävät kaikki omia SOCAMM2-ratkaisujaan. Alan analyytikot arvioivat, että LPDDR-pohjaiset palvelinmuistit voivat alkaa yleistyä tekoälydatakeskuksissa laajemmin vuosikymmenen loppua kohti.
Lääkintälaitteiden internet (IoMT) yhdistää diagnostiikan, puettavat anturit ja sairaalalaitteet pilvipohjaisiin järjestelmiin. Etävalvonta, reaaliaikainen data ja koneoppiminen lupaavat parempaa hoidon laatua ja kustannussäästöjä, mutta samalla ratkaistavaksi jäävät yhteentoimivuus, sääntely ja tietoturva.