logotypen
 
 

IN FOCUS

IP suojaan ulkoiseen muistiin

Monet markkinoilla olevat mikro-ohjaimet tarjoavat tallennuskapasiteettia muutamien megatavujen verran, mikä vaikuttaa merkittävästi tuotteen hintaan. Sopiva vaihtoehtoinen ratkaisu on käyttää ulkoista muistia, jota voidaan hankkia suuremmissa määrissä selvästi edullisempaan hintaan ja useilla eri kapasiteettivaihtoehdoilla – yleensä muutamasta megatavusta satoihin megatavuihin.

Lue lisää...

Datamäärän räjähdys on johtanut tekoälyn ja koneoppimisen (ML) sovellusten valtavaan kasvuun, joissa muisti ja tallennustila ovat avainasemassa sovellusten onnistumisessa ja nopeudessa. Perinteisiä muisti- ja tallennusjärjestelmiä ei ole suunniteltu näiden suurien tietojoukkojen käsittelyyn, joten tietotekniikan tekoäly- ja ML-sovellusten keskeinen haaste on lyhentää etsintään ja käsittelyyn kuluvaa aikaa.

Artikkelin kirjoittaja Arthur Sainio on SMART Modular Technologiesin tuotemarkkinoinnin johtaja. Hän vastaa uusien teknologioiden kuten MRAM- ja NVDIMM-muistien kehittämisestä IIoT-, tietoliikenne-, ilmailu- ja puolustussovelluksiin. Ennen SMART Modular Technologiesin palvelukseen siirtymistään hän toimi markkinointijohtajana Hitachi Semiconductorilla. Arthurilla on tutkinnot San Francisco State- ja Arizona State -yliopistoista.

Ennen kuin mennään yksityiskohtiin siinä, miksi muisti ja tallennustila ovat välttämättömiä tekoäly- ja ML-sovelluksille, on tärkeää ymmärtää, miten ne toimivat. Muistia tai tarkemmin sanottuna DRAM-muistia tarvitaan paikaksi, johon tallennetaan data, joka pitää mahdollisimman nopeasti muuntaa hyödylliseksi informaatioksi. Tallennustilaa tai tarkemmin flashia tarvitaan sekä raakadatan että muunnettujen tietojen tallentamiseen, jotta ne eivät häviä. Datan muistin ja tallennuksen perusprosessi on "syöttäminen, muuntaminen ja päättäminen" niin nopeasti kuin mahdollista.

Palvelimet ja tekoäly

Tekoälyn kehittämiseen käytettävät palvelimet ovat siirtyneet keskusprosessoreihin keskittyvistä kokoonpanoista useita GPU- eli grafiikkaprosessoreja käyttäviin kokoonpanoihin. Tekoälypalvelimilla on huomattavasti enemmän laskenta- ja muistikapasiteettia verrattuna perinteisiin palvelimiin, joita tarvitaan moninkertaisiin ja nopeisiin työkuormiin. Tekoälyn kehitys vaikuttaa laitearkkitehtuureihin, kun kehittäjät siirtyvät perinteisistä arkkitehtuureista sellaisiin, jotka hyödyntävät uutta tekniikkaa työnkulun nopeuttamiseksi.

Tutkimuslaitos Gartnerin mukaan sekä päättely- että koulutuspalvelimet tarjoavat entistä parempia käsittelynopeuksia muisti- ja tallennustoiminnoille tekoäly- ja ML-sovelluksiin.

Päättelypalvelimet käyttävät Gartnerin mukaan ennusteen tekoon koulutettua koneoppimisalgoritmia. IoT-dataa voidaan käyttää syötteenä koulutettuun koneoppimismalliin, mikä antaa mahdollisuuden ennusteisiin, jotka voivat ohjata päätöksentekologiikkaa laitteessa, reunayhdyskäytävässä tai muualla IoT-järjestelmässä. Nämä palvelimet tarjoavat merkittävästi paremman prosessoinnin suorituskyvyn ja vaativat lähes 20 prosenttia enemmän DRAM-muistia kuin tavalliset palvelimet.

Koulutuspalvelimet - esimerkiksi Nvidia-pohjaiset GPU-palvelimet, jotka on yhdistetty suuriksi tekoälyohjelmistojen koulutusverkoiksi - mahdollistavat Facebook-sovellusten tunnistaa esineitä ja kasvoja, kääntää tekstiä reaaliajassa ja kuvailla ja tulkita valokuvia ja videoita. Tässä syväoppimisen (deep learning) aikana opitut kyvyt otetaan käyttöön. Koulutuspalvelimet käyttävät esimerkkinä Nvidian kiihdytinkortteja ja tuovat käyttöön noin 2,5 kertaa enemmän DRAM-muistia kuin tavalliset palvelimet.

Tekoälyn DRAM-muisti

Suurempaa muistin kaistanleveyttä ja alhaisempaa viivettä tarvitaan tehokkaampaan rinnakkaislaskentaan. GPU-prosessorit tarjoavat vaaditun kaistanleveyden, prosessointinopeuden ja vastaavat AI- ja ML-sovellusten edellyttämään työnkuorman kasvuun. Tavoitteena on päästä raakadatasta analytiikkaan ja edelleen toimintaan lyhyimmällä mahdollisella viiveellä. ML-koulutuspalvelimissa käytettävät grafiikkasuorittimet on yhdistettävä oikeantyyppiseen ja oikeaan määrään muistia suorituskyvyn optimoimiseksi. Eri grafiikkaprosessoreilla on erilaiset muistivaatimukset. Esimerkiksi Nvidian DGX-1-tekoälyjärjestelmässä on 8 grafiikkasuoritinta, joista jokaisessa on 16 gigatavua sisäistä muistia. Järjestelmän päämuistin kapasiteettivaatimus on 512 gigatavua, joka koostuu 16 x 32 gigatavun DDR4 LRDIMM -muisteista. LRDIMM-moduulit on suunniteltu maksimoimaan AI-palvelimien kapasiteetti ja kaistanleveys, varsinkin kun CPU-prosessorit eivät tarjoa tarpeeksi muistikanavia yli 8 RDIMM-muistimoduulin sijoittamiseen. Tämä on DGX-1:n sisältä löytyvien Broadwell-suorittimien rajoitus.

Eri muistityypit ja erilaiset DIMM-kokoonpanot palvelimissa edellyttävät kompromisseja suorituskyvyn ja kapasiteetin välillä. LRDIMM-moduulit on suunniteltu minimoimaan kuormitus ja maksimoimaan kapasiteetti. LRDIMM:t käyttävät puskuripiiriä skaalautuvaan suorituskykyyn. RDIMM-moduulit ovat tyypillisesti nopeampia ja parantavat signaalin eheyttä pitämällä rekisteriä DIMM-moduulissa puskuroimaan osoite- ja komentosignaalit jokaisen DIMM-moduulin DRAM-muistin ja muistiohjaimen välillä. Tämän ansiosta jokaisessa muistikanavassa voidaan käyttää jopa kolmea ns. dual-rank-tyyppistä DIMM-moduulia.

LRDIMM-moduulit käyttävät muistipuskureita tasoittamaan LRDIMM-moduulin rivien sähkökuormat yhteen sähkökuormaan, jolloin niillä voi olla jopa kahdeksan riviä yhdessä DIMM-moduulissa. RDIMM-moduuleja käytettäessä järjestelmän suorituskyky heikkenee, kun kaikki muistipaikat ovat täynnä. Näin käy Broadwell-suorittimissa ja vanhemmissa Intel-suorittimissa. Intelin Skylake- ja Cascade Lake -sarjan suorittimien kohdalla muistikanavan rajoituksia ei enää ole. Sama koskee AMD:n Rome- ja Milan-polvien prosessoreita. Tämän takia RDIMM-moduulit ovat markkinoiden nopein ja halvin ratkaisu.

Kuva 1. Kaistanleveyden ja suorituskyvyn vertailu Intelin Cascade Lake -sarjan prosessoreita käytettäessä.

Kuva 2. Kaistanleveyden ja suorituskyvyn vertailu AMD:n Rome-sarjan prosessoreita käytettäessä.

Flashin käyttö tekoälytallennuksessa

The Register -lehden mukaan flashia pidetään matalan viiveensä ja korkean suorituskyvyn ansiosta tämän hetken optimaalisimpana ratkaisuna tekoälytallennukseen. Paljon riippuu tosin myös tavasta, jolla tallennusalijärjestelmä toteutetaan. Yleensä levyryhmän viive voi olla kymmeniä millisekunteja, kun taas flashissa viive on tyypillisesti kymmeniä mikrosekunteja eli noin tuhat kertaa nopeampi. Näitä huomattavasti suurempia käsittelynopeuksia tarvitaan useimpien tekoäly- ja ML-käyttötapausten edellyttämien tehtävien suorittamiseen.

Flash tuo tallennusratkaisuna useita etuja tekoäly- ja ML-sovelluksiin. Flashin kyky hallita suurta tiedonsiirtonopeutta erittäin pienellä viiveellä tarkoittaa, että sovellus voi käyttää ja käsitellä tietoja nopeammin ja käsitellä useita pyyntöjä samanaikaisesti. Flash-tallennustilan suunnittelu – kun verrataan perinteisiin kiintolevyihin – mahdollistaa tietojen käsittelyn paljon nopeammin, koska vie täsmälleen sama aika lukea data sirun jokaisesta osasta toisin kuin kiintolevyissä, joissa levyn pinnan pyöriminen ja luku/kirjoituspäiden siirtämiseen levyn oikeaan kohtaan aiheuttaa vaihtelevia viivästyksiä.

Lisäksi, kuten The Register kirjoittaa, flash-tallennus kuluttaa myös vähemmän virtaa, mikä voi alentaa kustannuksia niille yrityskäyttäjille, jotka tarvitsevat laajamittaisia tallennusratkaisuja.

NVMe SSD -asemat ovat optimaalinen valinta AI- ja ML-palvelimille verrattuna SATA-väyläisiin SSD-asemiin. NVMe-tallennus välttää SATA-levyjen pullonkaulan yhdistämällä PCIe-väylät suoraan tietokoneen suorittimeen. NVMe-pohjainen asema voi kirjoittaa levylle jopa 4 kertaa nopeammin ja hakuajat ovat jopa 10 kertaa nopeampia. NVMe SSD -asemilla on optimoidut luku/kirjoituspyynnöt. SATA-asemat tukevat yksittäistä I/O-jonoa, jossa on 32 merkintää. NVMe-pohjaiset SSD-asemat tukevat useita I/O-jonoja, joiden teoreettinen enimmäismäärä on 64 000 jonoa, joista kukin sallii 64 000 merkintää, siis yhteensä 4,096 miljardia merkintää. NVMe-aseman ohjainohjelmisto on myös suunniteltu luomaan ja hallitsemaan I/O-jonoja. (Lähde: Computer Weekly, elokuu 2019, How to deploy NVMe flash storage for artificial intelligence).

Kuva 3. SATA- ja NVMe-pohjaisen SSD:n suorituskykyjen vertailu satunnaisissa 4K-työkuormissa (Lähde: https://itpeernetwork.intel.com/why-you-should-care-about-nvm-express/#gs.9h7yfs).

Alla olevaan taulukkoon on koottu joissakin yleisimmissä AI-palvelimissa käytettyjen muistien ja tallennusratkaisujen tyyppejä ja kapasiteetteja.

*Huomaa: Hyperskaalaluokan operoijat kuten Facebook ja Google erottavat usein laskennan ja tallennuksen dedikoituihin elementteihinsä.

**JBOG tarkoittaa ”Just a Bunch of Graphic Cards” or ”Just a Bunch of GPUs” eli ”joukkoa grafiikkakortteja” tai ”joukkoa grafiikkaprosessoreita”. Termi on hyvin samankaltainen kuin JBOD tallennuksessa, jolloin se viittaa joukkoon levyjä (”Just a Bunch of Disks”).

Tekoäly- ja koneoppimissovellusten suunnittelijat saavat hyvin tukea, jonka avulla harkita sovelluksiinsa sisällytettyjen muistin ja tallennusratkaisujen ratkaisuja. Oikeiden ratkaisujen käyttäminen voi tehdä eron sovelluksen suorituskyvyn tai epäonnistumisen tai jopa suorituskyvyn ja optimaalisen suorituskyvyn välillä, kun yritetään vastata sovelluksen ja sen käyttäjien vaatimuksiin. Tärkeintä on muistaa, että muistin ja tallennustilan on suoritettava "syöttäminen, muuntaminen ja päättäminen" -operaatiot mahdollisimman nopeasti. Tämä voi viime kädessä ratkaista, onnistuuko sovellus vai ei.

 

MORE NEWS

Uusi fotonipiiri kiihdyttää tekoälyn prosessoinnin huippunopeuteen

Amerikkalainen teknologia-alan yritys Lightmatter on julkaissut uudenlaisen fotoniikkaan perustuvan superpiirin, joka lupaa mullistaa tekoälyn infrastruktuurin. Passage M1000 -niminen piiri mahdollistaa ennennäkemättömän nopean tiedonsiirron tekoälylaskennassa, avaten tien entistä suuremmille ja tehokkaammille AI-malleille.

Trumpin politiikka voi nostaa seuraavan iPhonen hintaa jopa 40 prosenttia

USA Todayn mukaan Applen iPhonet saattavat kallistua jopa 43 prosenttia Yhdysvaltain presidentin Donald Trumpin uusien tullien seurauksena. Trump ilmoitti keskiviikkona laajasta uudesta tullisuunnitelmasta, jonka tavoitteena on vauhdittaa yhdysvaltalaista tuotantoa. Tämä sisältää 34 prosentin lisätullit Kiinasta tuotaville tuotteille, mikä nostaa kokonaistullin 54 prosenttiin – korkeimmaksi Yhdysvaltain historiassa Kiinaa kohtaan.

Tänä vuonna jo joka viides uusi auto kulkee sähköllä

Sähköautojen suosio jatkaa kasvuaan haasteista ja epäilyksistä huolimatta. Uusimpien tilastojen mukaan vuonna 2025 jo 18 % maailmanlaajuisista autokaupoista kohdistuu sähköautoihin – kolme kertaa enemmän kuin viisi vuotta sitten.

Microsoft lähti liikkeelle 50 vuotta sitten BASIC-tulkista

Microsoft juhlii tänä vuonna 50-vuotista taivaltaan, ja juhlan kunniaksi yhtiön perustaja Bill Gates julkaisi alkuperäisen ohjelmakoodin, joka käynnisti koko teknologiayrityksen – Altair BASIC -tulkin. Gatesin mukaan kyseessä on "siistein koodi, jonka olen koskaan kirjoittanut".

Rohde lisäsi tehoa EMC-mittauksiin

Rohde & Schwarz on julkaissut päivitetyn version ELEKTRA-ohjelmistostaan, joka tuo lisää tehoa ja automaatiota EMC-mittauksiin. Uusi ohjelmistoversio tukee kaikkia ajankohtaisia EMC-standardeja eri toimialoilla – mukaan lukien kaupallinen elektroniikka, autoteollisuus, langattomat järjestelmät, puolustus ja ilmailu.

Tekoäly vaikuttaa lähes joka toiseen työpaikkaan

Tekoäly on nopeasti nousemassa maailman talouksien uudeksi moottoriksi – ja murroksen keskiössä ovat työmarkkinat. YK:n kauppa- ja kehitysjärjestön (UNCTAD) tuoreen Technology and Innovation Report 2025 -julkaisun mukaan jopa 40 prosenttia maailman työpaikoista on alttiina tekoälyn vaikutuksille. Se voi tarkoittaa joko työn automatisointia tai sitä, että työtehtävät muuttuvat perustavalla tavalla.

Tamperelaissiru purkaa useampia audiovirtoja kuin mikään muu prosessori

Tamperelainen VLSI Solution on julkaissut uuden sukupolven audioprosessorin, joka asettaa uudet standardit äänenkäsittelylle sulautetuissa järjestelmissä. VS1073-uutuuspiiri pystyy purkamaan ja käsittelemään enemmän äänenpakkausmuotoja kuin mikään muu prosessori markkinoilla – mukaan lukien uudet tuetut formaatit kuten ALAC, DSD, Opus ja AC-3.

Uusi LUMI-supertietokone yllättää: kylkeen tulee kvanttitietokone

Suomeen rakennetaan maailman tehokkainta tekoälysupertietokonetta, ja sen rinnalle kehitetään nyt myös täysin uusi kvanttilaskenta-alusta. LUMI AI Factory -hankkeen johtaja Pekka Manninen vahvistaa, että uusi huippuluokan laskentaympäristö käynnistyy keväällä 2027.

Samsungin uusin tuo tekoälyn jäässä oleville tablettimarkkinoille

Tablettimarkkinat hakevat suuntaa, mutta Samsung uskoo tekoälyyn. Yhtiö julkaisi 2. huhtikuuta uuden Galaxy Tab S10 FE -sarjan, joka tuo älykkäät ominaisuudet yhä useamman käyttäjän ulottuville. Vaikka markkina kokonaisuudessaan junnaa lähes paikallaan, Samsung pyrkii herättelemään sitä AI-pohjaisella tuottavuudella ja kevyellä muotoilulla.

Trumpin tullit aiheuttavat suurta epävarmuutta puolijohdealalla

Yhdysvaltain presidentti Donald Trump on ilmoittanut uusista tullipolitiikoista, jotka uhkaavat horjuttaa puolijohdeteollisuuden globaaleja toimitusketjuja. Trumpin hallinto on määrännyt 10 prosentin perustullin kaikkiin tuontituotteisiin ja jopa 32 prosentin tullit valikoiduille maille, kuten Taiwanille. Vaikka Taiwanin puolijohteet ovat toistaiseksi tullivapaita, alan toimijat elävät epävarmuudessa mahdollisista tulevista muutoksista.

Maailman ensimmäisessä MEMS-kompassissa ei ole liikkuvia osia

Ranskalainen teknologiayritys SBG Systems on esitellyt maailman ensimmäisen MEMS-pohjaisen gyrokompassin, joka kykenee määrittämään suunnan ilman GNSS-apua ja täysin ilman liikkuvia osia. Tämä inertianavigoinnin läpimurto avaa uuden luvun tarkassa ja kompaktissa paikannuksessa, erityisesti merenkulun ja robotiikan sovelluksissa.

Cadence demosi eurooppalaisvoimin kehitettyä ajoneuvojen SoC-piiriä

Euroopassa pitäisi vähentää riippuvuutta sekä kiinalaisesta että amerikkalaisesta tekniikasta. Muutaman viikon takaisilla Nürnbergin Embedded World -messuilla nähtiinkin tähän suuntaan kasvavia versoja. Esimerkiksi Cadence ja saksalainen Dream Chip Technologies esittelivät uuden sukupolven älykkään SoC-järjestelmäpiirin ajoneuvosovelluksiin.

LUMI-tekoälytehdas on yksi ensimmäisiä Euroopassa

LUMI-tekoälytehdas avaa uuden luvun eurooppalaisessa tekoälyn kehityksessä yhdistämällä huipputeknologian, asiantuntijuuden ja yhteistyön ainutlaatuiseksi kokonaisuudeksi. Tekoälyhubin fyysiset tilat sijoittuvat Espoon Otaniemeen Aalto-yliopiston yhteyteen, ja laskennan ydin toimii Kajaanissa, missä nykyinen LUMI-supertietokone tarjoaa maailmanluokan suorituskykyä tekoälykehitykselle.

Jyväskylän ylioppilaskylään maailman nopein opiskelijanetti

Kotimainen valokuituyhtiö Lounea toteutti Jyväskylän yliopiston ylioppilaskunnan Soihtu-asuntoihin huippumodernit nettiyhteydet. Opiskelijakylä nousi kerralla maailman kärkeen tarjoamalla asukkailleen poikkeuksellisen nopeat verkkoyhteydet. 

Painetun elektroniikan tutkija TactoTekin teknologiajohtajaksi

Oululaistaustainen elektroniikkayhtiö TactoTek on nimittänyt tekniikan tohtori Pälvi Apilon uudeksi teknologiajohtajakseen. Apilo on ollut osa TactoTekin asiantuntijatiimiä vuodesta 2018 ja toiminut viimeksi yhtiön ennakoinnin ja tutkimuksen johtajana.

Linuxista tulee parempi pelaajille

Linux-kernelin tuore 6.14-päivitys lupaa merkittäviä suorituskykyparannuksia Windows-pelejä pelaaville Linux-käyttäjille. Ytimeen on tuotu parannettu NTsync-ajuri, jonka ansiosta Wine- ja Proton-yhteensopivuuskerrosten kautta ajettavat pelit voivat hyötyä jopa satojen prosenttien teholisästä tietyissä tilanteissa.

Eficoden aprillijuttu oli hieno

Yli 600 koodaajan ohjelmistotalo Eficode päätti tänä vuonna aprillipäivän kunniaksi viedä kehittäjähuumorin uudelle tasolle julkaisemalla kuvitteellisen SUAMI-järjestelmän – Single Unified AI Metrics Indicator – joka mittaa kehittäjien tuottavuutta sielunmaiseman, eksistentiaalisen ahdistuksen ja astrologian avulla.

Maksupäätteen kosketusnäyttö vaatii vahvan tietoturvan

Kosketusnäyttö on olennainen osa jokaista nykyaikaista maksujärjestelmää ja myyntipisteen POS-päätettä (point of sale terminal). Sen tietoturvaan on kiinnitettävä erityistä huomiota.

Taivuteltavien älypuhelimien markkina kutistuu ensimmäistä kertaa

Taivuteltavien älypuhelimien maailmanlaajuinen markkina kutistuu tänä vuonna ensimmäistä kertaa historiassaan, kertoo Counterpoint Researchin tuore ennuste. Vuonna 2025 odotetaan neljän prosentin laskua, mikä katkaisee segmentin tähän asti kasvaneen trendin.

Tekoäly havaitsee poikkeamat avaruudessa

AMD on julkistanut uuden avaruuskelpoisen järjestelmäpiirin, Versal AI Edge XQRVE2302:n. Se vie tekoälypäättelyn (AI inferencing) avaruuteen. Piiri on nyt saavuttanut Class B -luokituksen, joka perustuu Yhdysvaltain puolustusvoimien MIL-PRF-38535-standardin vaatimuksiin.

Maksupäätteen kosketusnäyttö vaatii vahvan tietoturvan

Kosketusnäyttö on olennainen osa jokaista nykyaikaista maksujärjestelmää ja myyntipisteen POS-päätettä (point of sale terminal). Sen tietoturvaan on kiinnitettävä erityistä huomiota.

Lue lisää...

Tekoäly vaikuttaa lähes joka toiseen työpaikkaan

Tekoäly on nopeasti nousemassa maailman talouksien uudeksi moottoriksi – ja murroksen keskiössä ovat työmarkkinat. YK:n kauppa- ja kehitysjärjestön (UNCTAD) tuoreen Technology and Innovation Report 2025 -julkaisun mukaan jopa 40 prosenttia maailman työpaikoista on alttiina tekoälyn vaikutuksille. Se voi tarkoittaa joko työn automatisointia tai sitä, että työtehtävät muuttuvat perustavalla tavalla.

Lue lisää...

 

Tule tapaamaan meitä tulevissa tapahtumissamme.
R&S-seminaareihin saat kutsukirjeet ja uutiskirjeet suoraan sähköpostiisi, kun rekisteröidyt sivuillamme.
 
 R&S -seminaari: 5G Advanced & Beyond
Oulussa 13.5.2025
Espoossa 14.5.2025
 
R&S -seminaari: Calibration
Tampereella 22.5.2025

Seminaareihin ilmoittautuminen ja tiedustelut:
asiakaspalvelu@rohde&schwarz
 

 

LATEST NEWS

NEW PRODUCTS

 

ETNinsta

THIS SPACE TEMPORARILY LEFT BLANK
 
article