Kovaa laskentatehoa tarvitaan yhä enemmän. Paras ratkaisu tuhansien palvelinten jäähdyttämiseen löytyy ympäristöystävällisestä jäähdytysveden kierrätyksestä, kirjoittaa Lenovon suurteholaskentayksikköä EMEA-alueella johtava Rick Koopman.
Tietojenkäsittelyn vaatimusten kasvaessa datakeskuksen jokaisesta laskentayksiköstä yritetään puristaa kaikki mahdollinen teho irti. Noodeihin halutaan enemmän paikallista tallennustilaa, eikä 200 gigabittiä sekunnissa ole enää mikään tavaton vauhti klusterien välisessä tiedonsiirrossa. Tietojenkäsittelyresursseja pakataan aina vain tiiviimpään tilaan, samalla kun energiatehokkuuden vaatimukset kasvavat.
Tämän kehityksen seurauksena prosessorit ja grafiikkakiihdyttimet käyvät aina vain kuumempina. Perinteiset jäähdytysratkaisut eivät usein enää riitä. Joissakin datakeskuksissa vain alle puolet lattiatilasta on varsinaisen laskennan käytössä, jotta jäähdytys pystyttäisiin järjestämään järkevästi.
Münchenissä sijaitseva LRZ (Leibniz Supercomputing Centre) ei ole ihan tavallinen supertietokone. Muun muassa big datan prosessointiin ja visualisointiin käytettävässä supertietokoneessa on kaikkiaan 6480 Intel Xeon Scalable -prosessoria, joissa sykkii yhteensä 311 000 ydintä. Huipputeho on 26,7 petaflopsia. Klusterissa on lisäksi 700 teratavua RAM-muistia, 70 petatavua tallennustilaa ja yli 60 kilometriä kaapeleita.
LRZ vaikuttaa perinteiseltä konesalilta tuhansine palvelimineen, mutta sisään astuessa huomaa merkittävän eron: tuulettimien korviahuumaavaa melua kuule juuri ollenkaan, vaan tila on lähes täysin hiljainen.
Hiljaisuus johtuu siitä, että massiivista määrää Lenovon ThinkSystem SD650 -palvelimia käyttävä LRZ SuperMUC NG -supertietokone ei tarvitse juuri lainkaan perinteisiä tuulettimia. Vain virtalähteiden ja joka kahdeksannella räkkirivistöllä sijaitsevien rivijäähdyttimien tuulettimien vaimea humina tuottavat ääntä, joka on hiljaisempaa kuin perinteisessä toimistoympäristössä.
Palvelinten jäähdytyksessä käytetään ilmavirran sijasta vettä. LRZ:n ratkaisussa erikoista on se, että siinä käytetään lämmintä, 45–50-asteista vettä. Vaikka ihmisen käteen tämäkin tuntuisi kuumalta, veden lämpötila on kuitenkin alempi kuin täydellä teholla käyvän prosessorin lämpö. Peräti 90 prosenttia SD650-palvelinnoodien tuottamasta lämpöenergiasta saadaan tällä tavalla poistettua.
Vesijäähdytyksellä monta etua
Lenovo kokeili lämminvesijäähdytystä ensimmäistä kertaa suuremmassa mittakaavassa LRZ:ssa vuonna 2012. Sen edut perinteiseen ilmajäähdytykseen ovat selkeät. Vesi sitoo energiaa neljä kertaa tehokkaammin kuin vastaava ilmamäärä, ja lisäksi vesijäähdytys pystytään kohdistamaan tarkasti juuri sinne, missä sitä tarvitaan.
Veden etuihin kuuluu myös, että sitä pystytään kierrättämään ja käyttämään jatkuvasti uudelleen. Ulkoilman lämpötilasta riippuen ylimääräisen lämmön poistamiseen voi riittää, että vesi kiertää katolla olevan lämmönsiirtimen kautta.
Lämmintä vettä voi käyttää myös muulla tavalla. Esimerkiksi LRZ:n tapauksessa ylimääräistä lämpöä käytetään myös kampusalueen lämmityksessä. LRZ:n kokonaisenergiankulutus on tämän myötä laskenut 40 prosenttia.
Tehokkaampi jäähdytys on entistäkin tärkeämpää supertietokoneiden tehojen kasvaessa. Kun Lenovo aloitti työn SuperMUCin parissa vuonna 2012, tyypillinen supertietokoneiden laskentanoodi tarvitsi 100-120 wattia tehoa prosessoria kohden. Nyt tämä lukema on 200 wattia, ja sen uskotaan nousevan 300 wattiin vuonna 2021. Ja tämä tuottaa tietenkin myös enemmän lämpöä. Nykyprosessorien pii alkaa hajota, kun lämpötila nousee yli 80 asteen.
Jos tarkastellaan yhden palvelimen kokonaistehon tarvetta, niin siinä on kaksi prosessoria, joista molemmat tarvitsevat 300 W tehoa, neljä kiihdytintä, joista kukin vie pahimmillaan 500 W sekä vielä muistit, levyasemat ja verkkosovittimet, jotka vievät oman vähän pienemmän osansa. Silloin yhden palvelimen tehontarve on noin 3000 wattia, ja yhteen vakiomalliseen 19 tuuman 42U-räkkiin tällaisia palvelimia mahtuu 36 kappaletta. Räkillisen tehontarve on siis yli 100 kilowattia.
Tällaisessa tilanteessa vanha ilman avulla tapahtuva jäähdytys ei enää riitä. Supertietokoneissa käytetään myös yhä tiiviimmin aseteltuja laitteistoja, mikä lyö viimeisen naulan ilmajäähdytyksen arkkuun.
Ilmajäähdytys riittää noin 32–36 kilowatin tehoon saakka, kun sen tukena ovat räkkien takana sijaitsevat lämmönsiirtimet. Koska 36 tietojenkäsittelynoodia sisältävän palvelinräkin tehokulutus on sadan kilowatin nurkilla, mikään järkevästi saavutettavissa oleva puhallusteho ei riitä kuuman ilman poistamiseen.
Lenovon Neptune-nestejäähdytysteknologia lähestyy datakeskusten energiatehokkuutta kolmesta näkökulmasta: lämpimän veden käyttö jäähdytyksessä, ohjelmistojen optimointi sekä infrastruktuurin kehittäminen.
Kestävän kehityksen kannalta infrastruktuurissa tehtävät muutokset ovat ehkä tärkeimpiä. LRZ:n SuperMUC NG -supertietokoneissa Lenovo on ottanut käyttöön adsorptiojäähdytyksen, jossa lämpimästä vedestä voidaan jäähdyttää viileämpää vettä tallennusjärjestelmien ja verkkolaitteiden räkkien jäähdytykseen.
Veden viilentämiseen tarvitaan tällöin vähemmän jäähdyttimiä, millä on supertietokoneiden mittakaavassa jo merkittävä energiansäästövaikutus. Ratkaisu tuo selviä säästöjä toki myös perinteisemmissäkin datakeskuksissa, sillä tehon tarpeen kasvu tulee jatkumaan. Prosessorit, kiihdyttimet ja muut palvelinten komponentit tarvitsevat ravinnokseen aina vain enemmän watteja.
Rick Koopman
Lenovon suurteholaskentayksikön EMEA-alueen johtaja
Kun suurteholaskennan (HPC) työkuormat monimutkaistuvat, generatiivinen tekoäly sulautuu yhä tiiviimmin moderneihin järjestelmiin ja lisää kehittyneiden muistiratkaisujen tarvetta. Vastatakseen näihin muuttuviin vaatimuksiin ala kehittää uuden sukupolven muistiarkkitehtuureja, jotka maksimoivat kaistanleveyden, minimoivat latenssin ja parantavat energiatehokkuutta.
