logotypen
 
 

IN FOCUS

Suojaa datasi kunnolla

SSD-levyt tarjoavat luontaisesti korkean luotettavuuden kaikentyyppisiin sovelluksiin, aina aloitustason kuluttajalaitteista kriittisiin järjestelmiin. Asianmukaiset tietosuojamekanismit voivat maksimoida levyn käyttöiän toteuttamalla ennaltaehkäiseviä toimenpiteitä tarpeen mukaan, kertoo Silicon Motion artikkelissaan.

Lue lisää...

Datamäärän räjähdys on johtanut tekoälyn ja koneoppimisen (ML) sovellusten valtavaan kasvuun, joissa muisti ja tallennustila ovat avainasemassa sovellusten onnistumisessa ja nopeudessa. Perinteisiä muisti- ja tallennusjärjestelmiä ei ole suunniteltu näiden suurien tietojoukkojen käsittelyyn, joten tietotekniikan tekoäly- ja ML-sovellusten keskeinen haaste on lyhentää etsintään ja käsittelyyn kuluvaa aikaa.

Artikkelin kirjoittaja Arthur Sainio on SMART Modular Technologiesin tuotemarkkinoinnin johtaja. Hän vastaa uusien teknologioiden kuten MRAM- ja NVDIMM-muistien kehittämisestä IIoT-, tietoliikenne-, ilmailu- ja puolustussovelluksiin. Ennen SMART Modular Technologiesin palvelukseen siirtymistään hän toimi markkinointijohtajana Hitachi Semiconductorilla. Arthurilla on tutkinnot San Francisco State- ja Arizona State -yliopistoista.

Ennen kuin mennään yksityiskohtiin siinä, miksi muisti ja tallennustila ovat välttämättömiä tekoäly- ja ML-sovelluksille, on tärkeää ymmärtää, miten ne toimivat. Muistia tai tarkemmin sanottuna DRAM-muistia tarvitaan paikaksi, johon tallennetaan data, joka pitää mahdollisimman nopeasti muuntaa hyödylliseksi informaatioksi. Tallennustilaa tai tarkemmin flashia tarvitaan sekä raakadatan että muunnettujen tietojen tallentamiseen, jotta ne eivät häviä. Datan muistin ja tallennuksen perusprosessi on "syöttäminen, muuntaminen ja päättäminen" niin nopeasti kuin mahdollista.

Palvelimet ja tekoäly

Tekoälyn kehittämiseen käytettävät palvelimet ovat siirtyneet keskusprosessoreihin keskittyvistä kokoonpanoista useita GPU- eli grafiikkaprosessoreja käyttäviin kokoonpanoihin. Tekoälypalvelimilla on huomattavasti enemmän laskenta- ja muistikapasiteettia verrattuna perinteisiin palvelimiin, joita tarvitaan moninkertaisiin ja nopeisiin työkuormiin. Tekoälyn kehitys vaikuttaa laitearkkitehtuureihin, kun kehittäjät siirtyvät perinteisistä arkkitehtuureista sellaisiin, jotka hyödyntävät uutta tekniikkaa työnkulun nopeuttamiseksi.

Tutkimuslaitos Gartnerin mukaan sekä päättely- että koulutuspalvelimet tarjoavat entistä parempia käsittelynopeuksia muisti- ja tallennustoiminnoille tekoäly- ja ML-sovelluksiin.

Päättelypalvelimet käyttävät Gartnerin mukaan ennusteen tekoon koulutettua koneoppimisalgoritmia. IoT-dataa voidaan käyttää syötteenä koulutettuun koneoppimismalliin, mikä antaa mahdollisuuden ennusteisiin, jotka voivat ohjata päätöksentekologiikkaa laitteessa, reunayhdyskäytävässä tai muualla IoT-järjestelmässä. Nämä palvelimet tarjoavat merkittävästi paremman prosessoinnin suorituskyvyn ja vaativat lähes 20 prosenttia enemmän DRAM-muistia kuin tavalliset palvelimet.

Koulutuspalvelimet - esimerkiksi Nvidia-pohjaiset GPU-palvelimet, jotka on yhdistetty suuriksi tekoälyohjelmistojen koulutusverkoiksi - mahdollistavat Facebook-sovellusten tunnistaa esineitä ja kasvoja, kääntää tekstiä reaaliajassa ja kuvailla ja tulkita valokuvia ja videoita. Tässä syväoppimisen (deep learning) aikana opitut kyvyt otetaan käyttöön. Koulutuspalvelimet käyttävät esimerkkinä Nvidian kiihdytinkortteja ja tuovat käyttöön noin 2,5 kertaa enemmän DRAM-muistia kuin tavalliset palvelimet.

Tekoälyn DRAM-muisti

Suurempaa muistin kaistanleveyttä ja alhaisempaa viivettä tarvitaan tehokkaampaan rinnakkaislaskentaan. GPU-prosessorit tarjoavat vaaditun kaistanleveyden, prosessointinopeuden ja vastaavat AI- ja ML-sovellusten edellyttämään työnkuorman kasvuun. Tavoitteena on päästä raakadatasta analytiikkaan ja edelleen toimintaan lyhyimmällä mahdollisella viiveellä. ML-koulutuspalvelimissa käytettävät grafiikkasuorittimet on yhdistettävä oikeantyyppiseen ja oikeaan määrään muistia suorituskyvyn optimoimiseksi. Eri grafiikkaprosessoreilla on erilaiset muistivaatimukset. Esimerkiksi Nvidian DGX-1-tekoälyjärjestelmässä on 8 grafiikkasuoritinta, joista jokaisessa on 16 gigatavua sisäistä muistia. Järjestelmän päämuistin kapasiteettivaatimus on 512 gigatavua, joka koostuu 16 x 32 gigatavun DDR4 LRDIMM -muisteista. LRDIMM-moduulit on suunniteltu maksimoimaan AI-palvelimien kapasiteetti ja kaistanleveys, varsinkin kun CPU-prosessorit eivät tarjoa tarpeeksi muistikanavia yli 8 RDIMM-muistimoduulin sijoittamiseen. Tämä on DGX-1:n sisältä löytyvien Broadwell-suorittimien rajoitus.

Eri muistityypit ja erilaiset DIMM-kokoonpanot palvelimissa edellyttävät kompromisseja suorituskyvyn ja kapasiteetin välillä. LRDIMM-moduulit on suunniteltu minimoimaan kuormitus ja maksimoimaan kapasiteetti. LRDIMM:t käyttävät puskuripiiriä skaalautuvaan suorituskykyyn. RDIMM-moduulit ovat tyypillisesti nopeampia ja parantavat signaalin eheyttä pitämällä rekisteriä DIMM-moduulissa puskuroimaan osoite- ja komentosignaalit jokaisen DIMM-moduulin DRAM-muistin ja muistiohjaimen välillä. Tämän ansiosta jokaisessa muistikanavassa voidaan käyttää jopa kolmea ns. dual-rank-tyyppistä DIMM-moduulia.

LRDIMM-moduulit käyttävät muistipuskureita tasoittamaan LRDIMM-moduulin rivien sähkökuormat yhteen sähkökuormaan, jolloin niillä voi olla jopa kahdeksan riviä yhdessä DIMM-moduulissa. RDIMM-moduuleja käytettäessä järjestelmän suorituskyky heikkenee, kun kaikki muistipaikat ovat täynnä. Näin käy Broadwell-suorittimissa ja vanhemmissa Intel-suorittimissa. Intelin Skylake- ja Cascade Lake -sarjan suorittimien kohdalla muistikanavan rajoituksia ei enää ole. Sama koskee AMD:n Rome- ja Milan-polvien prosessoreita. Tämän takia RDIMM-moduulit ovat markkinoiden nopein ja halvin ratkaisu.

Kuva 1. Kaistanleveyden ja suorituskyvyn vertailu Intelin Cascade Lake -sarjan prosessoreita käytettäessä.

Kuva 2. Kaistanleveyden ja suorituskyvyn vertailu AMD:n Rome-sarjan prosessoreita käytettäessä.

Flashin käyttö tekoälytallennuksessa

The Register -lehden mukaan flashia pidetään matalan viiveensä ja korkean suorituskyvyn ansiosta tämän hetken optimaalisimpana ratkaisuna tekoälytallennukseen. Paljon riippuu tosin myös tavasta, jolla tallennusalijärjestelmä toteutetaan. Yleensä levyryhmän viive voi olla kymmeniä millisekunteja, kun taas flashissa viive on tyypillisesti kymmeniä mikrosekunteja eli noin tuhat kertaa nopeampi. Näitä huomattavasti suurempia käsittelynopeuksia tarvitaan useimpien tekoäly- ja ML-käyttötapausten edellyttämien tehtävien suorittamiseen.

Flash tuo tallennusratkaisuna useita etuja tekoäly- ja ML-sovelluksiin. Flashin kyky hallita suurta tiedonsiirtonopeutta erittäin pienellä viiveellä tarkoittaa, että sovellus voi käyttää ja käsitellä tietoja nopeammin ja käsitellä useita pyyntöjä samanaikaisesti. Flash-tallennustilan suunnittelu – kun verrataan perinteisiin kiintolevyihin – mahdollistaa tietojen käsittelyn paljon nopeammin, koska vie täsmälleen sama aika lukea data sirun jokaisesta osasta toisin kuin kiintolevyissä, joissa levyn pinnan pyöriminen ja luku/kirjoituspäiden siirtämiseen levyn oikeaan kohtaan aiheuttaa vaihtelevia viivästyksiä.

Lisäksi, kuten The Register kirjoittaa, flash-tallennus kuluttaa myös vähemmän virtaa, mikä voi alentaa kustannuksia niille yrityskäyttäjille, jotka tarvitsevat laajamittaisia tallennusratkaisuja.

NVMe SSD -asemat ovat optimaalinen valinta AI- ja ML-palvelimille verrattuna SATA-väyläisiin SSD-asemiin. NVMe-tallennus välttää SATA-levyjen pullonkaulan yhdistämällä PCIe-väylät suoraan tietokoneen suorittimeen. NVMe-pohjainen asema voi kirjoittaa levylle jopa 4 kertaa nopeammin ja hakuajat ovat jopa 10 kertaa nopeampia. NVMe SSD -asemilla on optimoidut luku/kirjoituspyynnöt. SATA-asemat tukevat yksittäistä I/O-jonoa, jossa on 32 merkintää. NVMe-pohjaiset SSD-asemat tukevat useita I/O-jonoja, joiden teoreettinen enimmäismäärä on 64 000 jonoa, joista kukin sallii 64 000 merkintää, siis yhteensä 4,096 miljardia merkintää. NVMe-aseman ohjainohjelmisto on myös suunniteltu luomaan ja hallitsemaan I/O-jonoja. (Lähde: Computer Weekly, elokuu 2019, How to deploy NVMe flash storage for artificial intelligence).

Kuva 3. SATA- ja NVMe-pohjaisen SSD:n suorituskykyjen vertailu satunnaisissa 4K-työkuormissa (Lähde: https://itpeernetwork.intel.com/why-you-should-care-about-nvm-express/#gs.9h7yfs).

Alla olevaan taulukkoon on koottu joissakin yleisimmissä AI-palvelimissa käytettyjen muistien ja tallennusratkaisujen tyyppejä ja kapasiteetteja.

*Huomaa: Hyperskaalaluokan operoijat kuten Facebook ja Google erottavat usein laskennan ja tallennuksen dedikoituihin elementteihinsä.

**JBOG tarkoittaa ”Just a Bunch of Graphic Cards” or ”Just a Bunch of GPUs” eli ”joukkoa grafiikkakortteja” tai ”joukkoa grafiikkaprosessoreita”. Termi on hyvin samankaltainen kuin JBOD tallennuksessa, jolloin se viittaa joukkoon levyjä (”Just a Bunch of Disks”).

Tekoäly- ja koneoppimissovellusten suunnittelijat saavat hyvin tukea, jonka avulla harkita sovelluksiinsa sisällytettyjen muistin ja tallennusratkaisujen ratkaisuja. Oikeiden ratkaisujen käyttäminen voi tehdä eron sovelluksen suorituskyvyn tai epäonnistumisen tai jopa suorituskyvyn ja optimaalisen suorituskyvyn välillä, kun yritetään vastata sovelluksen ja sen käyttäjien vaatimuksiin. Tärkeintä on muistaa, että muistin ja tallennustilan on suoritettava "syöttäminen, muuntaminen ja päättäminen" -operaatiot mahdollisimman nopeasti. Tämä voi viime kädessä ratkaista, onnistuuko sovellus vai ei.

 

MORE NEWS

Traficom varoittaa: myös .fi-pääte voi viedä huijaussivulle

Suomalaiset verkkosivustot, joilla on .fi-pääte, koetaan usein turvallisiksi. Aika ajoin ilmenee kuitenkin tapauksia, joissa tätä luottamusta on pyritty hyväksikäyttämään. Kyberturvallisuuskeskus kehottaakin tarkkaavaisuuteen myös .fi-osoitteiden kanssa.

Haluatko murtautua yrityksen verkkoon? Se maksaa vain 500 dollaria

Pimeässä verkossa käydään vilkasta kauppaa yritysverkkoihin murtautumisesta ja hinnat ovat yllättävän edullisia. Tietoutrvayritys Check Pointin uunituoreen raportin mukaan rikolliset voivat ostaa pääsyn yritysten sisäverkkoihin jopa 500 dollarilla.

Maailman pienin lidar painaa vain 50 grammaa

Sony Image Sensing Solutions on julkistanut maailman pienimmän ja kevyimmän lidar-etäisyysanturin. Uusi AS-DT1-malli hyödyntää dToF-teknologiaa (Direct Time of Flight) ja painaa vain 50 grammaa. Moduulin mitat ovat vain 29 x 29 x 31 millimetriä.

Apple aikoo kiertää Trumpin tullimaksut

Apple pyrkii välttämään jopa 145 prosentin tullit Kiinasta tuoduista tuotteista siirtämällä iPhone-tuotantoaan Intiaan ja nopeuttamalla logistiikkaansa, kertovat Reuters ja MarketWatch. Yhtiö on Reutersin mukaan lennättänyt viime viikkojen aikana noin 600 tonnia iPhoneja – arviolta 1,5 miljoonaa kappaletta – Intiasta Yhdysvaltoihin. Tarkoituksena on kasvattaa Yhdysvaltain varastoja ennen kuin tullit nostavat laitteiden hintoja dramaattisesti.

Uusi anturi tuo elokuvatason kuvanlaadun huippupuhelimiin

Piilaaksolainen Omnivision on julkistanut uuden kuva-anturin, joka tuo ennennäkemättömän laajan dynaamisen alueen ja elokuvatason videokuvauksen älypuhelimiin. OV50X-uutuusanturi on suunnattu huippuluokan puhelimiin, jotka tavoittelevat parasta mahdollista kuvanlaatua kaikissa valaistusolosuhteissa.

Yllättävä tutkimus: ChatGPT tekee samanlaisia päättelyvirheitä kuin ihminen

Tuore kansainvälinen tutkimus paljastaa, että tekoäly ei ole niin rationaalinen kuin usein uskotaan. OpenAI:n kehittämä ChatGPT tekee monissa tilanteissa samanlaisia päättelyvirheitä kuin ihmiset – ja joskus vielä pahempia.

Näin Teslan ja BYD:n akut eroavat toisistaan

Saksalaisen RWTH Aachenin yliopiston tutkijat ovat tehneet perusteellisen purkuanalyysin kahdesta maailman johtavan sähköautovalmistajan, Teslan ja BYD:n, litiumioniakusta. Tutkimuksessa verrattiin Teslan 4680-sylinterikennoa ja BYD:n Blade-prismaattista kennoa kennotasolla.

Suomalaisyritys tuo yrityksille oman tekoälyn

Suomalainen konsulttitalo Y4 Works on lanseerannut uuden tekoälyratkaisun, Suunta.ai:n, joka tuo organisaatioille niiden oman, asiantuntijamaisen tekoälyn. Toisin kuin yleiset kielimallit, kuten ChatGPT, Suunta.ai oppii yrityksen omasta datasta, haastaa käyttäjäänsä ja toimii kuin digitaalinen liiketoimintakonsultti.

Piikarbidi vähentää tehohäviöitä datakeskuksessa

ON Semiconductor on julkaissut uuden sukupolven tehomoduulin, joka lupaa merkittävästi pienempiä tehohäviöitä ja energiatehokkaampaa käyttöä erityisesti datakeskuksissa ja teollisuussovelluksissa.

Boreo ostaa Elfa Distrelecin Suomen ja Baltian toiminnot

Boreo Oyj on allekirjoittanut sopimuksen Elfa Distrelecin myyntitoimintojen ostamisesta Suomessa, Latviassa, Virossa ja Liettuassa. Kaupan myötä Elfa siirtyy näissä samaan yritysryhmään kuin Yleiselektroniikan toiminnot. Kauppahinnaksi ilmoitetaan 5,5 miljoonaa euroa.

Ruotsalaistutkijoiden vahvistin nostaa kuidun kapasiteetin 10-kertaiseksi

Göteborgilaisen Chalmersin teknillisen korkeakoulun tutkijat ovat kehittäneet uudenlaisen optisen vahvistimen, joka voi moninkertaistaa kuituverkkojen tiedonsiirtokyvyn. Uusi vahvistin mahdollistaa jopa kymmenen kertaa enemmän dataa sekunnissa verrattuna nykyisiin teknologioihin.

Google siirtää sovelluskehityksen selaimeen – tekoäly isossa roolissa

Google esitteli Cloud Next -tapahtumassaan uuden sukupolven sovelluskehitysalustan, Firebase Studion, joka siirtää koko kehitysprosessin selaimeen – suunnittelusta julkaisuun. Uutuus rakentuu vahvasti tekoälyavusteisuuden ympärille ja hyödyntää Googlen omaa Gemini-mallia läpi koko kehityksen.

Trumpin tullit iskevät rankasti suuriin amerikkalaisiin autonvalmistajiin

Yhdysvallat asetti viime viikolla 25 prosentin tuontitullit useista maista tuotaville autoille ja varaosille. Presidentti Trumpin hallinnon ilmoittamat laajat tuontitullit ovat tuomassa autoalalle uudenlaisia haasteita. Vaikka toimenpiteet on nimellisesti suunnattu vahvistamaan kotimaista teollisuutta, tuoreen analyysin mukaan myös Yhdysvaltain omat jättivalmistajat – General Motors, Ford ja Stellantis – ovat merkittävästi alttiita tullien vaikutuksille.

Nokian ja Telian 5G-viipale kattoi kolme maata

Nokia, Telia ja Puolustusvoimat ovat saavuttaneet maailmanlaajuisesti merkittävän teknologisen virstanpylvään toteuttamalla ensimmäisen saumattoman 5G Standalone -verkkoviipaleen (slice) siirron kolmen eri maan välillä toimivassa verkossa. Kokeilu osoittaa, kuinka 5G-teknologiaa voidaan hyödyntää viranomaisviestinnässä myös kansainvälisesti.

Optinen liitäntä tuotiin ensimmäistä kertaa SSD-levylle

Tallennustekniikan kehityksessä saavutettiin merkittävä virstanpylväs, kun KIOXIA, AIO Core ja Kyocera julkistivat ensimmäisen toimivan SSD-levyn, jossa käytetään optista liitäntää. Uusi prototyyppi yhdistää PCIe 5.0 -väylän ja valoon perstuvan optisen tiedonsiirron, mikä tekee siitä maailman ensimmäisen laatuaan.

Joskus yksittäinen komponentti voi olla vaarallinen takaovi

Yritykset investoivat valtavasti kyberturvallisuuteen suojatakseen verkkojaan ja sovelluksiaan. Silti, kaikista suojaustoimista huolimatta, verkkorikolliset onnistuvat vuosi vuodelta entistä paremmin. Miten tämä on mahdollista, kysyy Lenovon tietoturva-asiantuntija Steven Antoniou?

Trump haluaa nopeuttaa miljardi-investointeja Yhdysvaltain puolijohdeteollisuuteen

Yhdysvaltain presidentti Donald Trump on antanut uuden presidentin asetuksen, jolla perustetaan United States Investment Accelerator -niminen virasto vauhdittamaan miljardiluokan investointeja maahan. Tavoitteena on houkutella sekä kotimaisia että ulkomaisia yrityksiä sijoittamaan erityisesti strategisesti tärkeisiin aloihin, kuten puolijohdeteollisuuteen.

Ethernet aikoo vallata autot

CAN-väylä on hallinnut autoja pitkään, mutta moni uskoo kaistatarpeen vaativan jatkossa Ethernetiä. Tätä silmällä pitäen Infineon on ostanut Marvellin aujoneuvojen Ethernet-liiketoiminnan 2,5 miljardilla dollarilla. Kauppa kattaa Marvellin Brightlane-tuotesarjan ja siihen liittyvät varat, ja sen odotetaan toteutuvan vuoden 2025 aikana.

STMicroelectronics julkisti kevyemmän version MP25-prosessorista

STMicroelectronics on tuonut markkinoille uuden STM32MP23-mikroprosessorisarjan, joka täydentää viime vuonna julkaistua MP25-sarjaa. Uutuusprosessori tarjoaa tehokkaan ja taloudellisen vaihtoehdon teollisuuden ja esineiden internetin (IoT) älykkäisiin reunalaitteisiin, koneoppimiseen ja kehittyneisiin käyttöliittymäratkaisuihin.

Androidin avustin voi muuttua vaaralliseksi takaoveksi

Androidin esteettömyyspalvelu – jonka tarkoitus on auttaa käyttäjiä käyttämään puhelinta paremmin esimerkiksi näkö- tai liikuntarajoitteiden kanssa – voi muuttua tietoturvariskiksi. Tuore Georgia Techin tutkimus esittelee uuden analyysityökalun, DVa:n, joka paljastaa, kuinka haittaohjelmat hyödyntävät tätä avustinta päästäkseen käsiksi käyttäjän tietoihin ja sovelluksiin.

Galvaaninen erotus on yhä tärkeämmässä roolissa

Teollisuus- ja ajoneuvosovelluksissa siirtyminen kohti kestävämpiä energiaratkaisuja ja tehokkaampia moottoreita tuo mukanaan uudenlaisia vaatimuksia elektroniikkasuunnittelulle. Järjestelmät yhdistävät yhä useammin laajan kaistaeron komponentteihin perustuvat suurjännitealijärjestelmät ja herkät pienjännitepiirit, kuten mikro-ohjaimet. Näiden yhdistäminen samassa kokonaisuudessa lisää sekä suorituskykyä että riskejä – galvaaninen erotus ja häiriösuojaus ovatkin nyt tärkeämpiä kuin koskaan, sanoo Toshiba Electronics Europe.

Lue lisää...

Joskus yksittäinen komponentti voi olla vaarallinen takaovi

Yritykset investoivat valtavasti kyberturvallisuuteen suojatakseen verkkojaan ja sovelluksiaan. Silti, kaikista suojaustoimista huolimatta, verkkorikolliset onnistuvat vuosi vuodelta entistä paremmin. Miten tämä on mahdollista, kysyy Lenovon tietoturva-asiantuntija Steven Antoniou?

Lue lisää...

 

Tule tapaamaan meitä tulevissa tapahtumissamme.
R&S-seminaareihin saat kutsukirjeet ja uutiskirjeet suoraan sähköpostiisi, kun rekisteröidyt sivuillamme.
 
 R&S -seminaari: 5G Advanced & Beyond
Oulussa 13.5.2025
Espoossa 14.5.2025
 
R&S -seminaari: Calibration
Tampereella 22.5.2025

Seminaareihin ilmoittautuminen ja tiedustelut:
asiakaspalvelu@rohde&schwarz
 

 

LATEST NEWS

NEW PRODUCTS

 
 
article