Tekoälyn siirtyminen pilvestä laitteisiin nostaa esiin uuden vaatimuksen: suorituskyky ei synny pelkästä raudasta tai ohjelmistosta, vaan niiden yhteispelistä. Sulautetussa AI:ssa laitteistoarkkitehtuuri ja mallien optimointi ratkaisevat, kuinka paljon laskentaa voidaan tuoda paikallisesti ilman pilviyhteyttä.

Kirjoittaja Christian Bauer toimii Tria Technologiesin tuotemarkkinointipäällikkönä. Hänellä on vahva tausta sulautetuista järjestelmistä, tuotekehityksestä ja asiakasratkaisuista. Ennen nykyistä rooliaan Bauer on työskennellyt muun muassa Microsys Electronicsilla ja duagonilla, MEN Mikro Elektronikilla laitteistosuunnittelun ja tuotekehityksen johtamisen johtajana. Koulutukseltaan Bauer on sähkö- ja tietotekniikan diplomi-insinööri (Technische Hochschule Nürnberg).

Tekoälystä on tullut yksi keskeisimmistä innovaation ajureista. Pilvilaskennan suuri suorituskyky on mahdollistanut älykkäät agentit, jotka automatisoivat ja tehostavat liiketoimintaprosesseja.

Sulautettujen järjestelmien kehittäjät ja käyttäjät voivat hyödyntää pilveä tuodakseen AI-ominaisuuksia teollisiin ja reaaliaikaisiin sovelluksiin. Samalla tarve paikalliselle eli edge-AI:lle kasvaa, koska jatkuva ja katkoton yhteys pilveen ei ole aina mahdollinen. Monet puolijohdevalmistajat ovat vastanneet tähän tuomalla markkinoille dedikoituja AI-kiihdyttimiä, usein osana moniydinsuorittimia.

Sulautettujen kiihdyttimien suorituskykyä rajoittavat teho- ja piipinta-alavaatimukset. Tämä synnyttää kuilun niiden ja pilvipohjaisen AI:n välillä. Ero korostuu erityisesti generatiivisen tekoälyn yleistyessä, kun suuret kielimallit muodostavat yhä useamman sovelluksen perustan ja mahdollistavat luonnollisen kielen käyttöliittymät.

Tehokkaamman ja kevyemmän AI:n kehitys on tuonut ratkaisuja kuten MobileNet-kuvantunnistukseen. Näitä hyödynnetään esimerkiksi turvallisuudessa, vähittäiskaupassa, logistiikassa ja teollisuusautomaatiossa. Samalla generatiivista AI:ta on optimoitu pienemmäksi ja laskennallisesti tehokkaammaksi. Esimerkiksi TinyLlama tarvitsee alle kolme miljardia parametria, mutta pystyy korvaamaan huomattavasti suurempia malleja, kuten Llama2-7B:n.

Mallien optimointi on kulkenut käsi kädessä laitteistokehityksen kanssa. Qualcomm on yksi alan johtavista toimijoista. Yhtiö on kehittänyt tekniikoita kuten pruning ja microscaling, joilla laskentakuormaa voidaan vähentää. Microscaling korvaa liukulukulaskennan tehokkaammalla kokonaislukuaritmetiikalla pienemmillä operandeilla. Edge Impulsen yritysosto on vahvistanut tätä osaamista erityisesti matalatehoisten AI-ratkaisujen optimoinnissa.

Qualcommin kehitystyö on tuonut syvää ymmärrystä mallien optimointiin, myös generatiivisessa AI:ssa. Yhtiö on ollut keskeisessä roolissa esimerkiksi spekulatiivisen dekoodauksen kehittämisessä. Menetelmä jakaa laskennan pienen paikallisen mallin ja pilvimallin välillä, mikä pienentää latenssia ja parantaa tehokkuutta.

Nämä opit ovat ohjanneet Qualcommin laitearkkitehtuuria jo vuosikymmenen ajan. Snapdragon-alustalla alkanut kehitys on laajentunut teollisuuteen Dragonwing-tuoteperheen myötä.

Pelkkä mallien optimointi ei riitä, kun suuria AI-malleja siirretään sulautettuihin ympäristöihin. Snapdragon- ja Dragonwing-prosessorit kaventavat tätä kuilua. Siinä missä monet ratkaisut yltävät noin 10 TOPS -suorituskykyyn, Qualcommin IQ9-sukupolvi tarjoaa yli 100 TOPS. Tämä mahdollistaa paitsi pienet mallit kuten TinyLlama, myös suuret mallit kuten 13 miljardin parametrin Llama2:n ajamisen paikallisesti yli 10 tokenin sekuntinopeudella. Näin luonnollisen kielen käyttöliittymät voidaan toteuttaa ilman pilveä.

Energiatehokkuus on keskeinen vahvuus Hexagon-arkkitehtuurissa, joka muodostaa Dragonwingin AI-tuen perustan. Se pidentää akulla toimivien laitteiden käyttöaikaa. Yksi esimerkki on micro-tile inferencing, jossa pienempi malli toimii jatkuvasti matalassa energiankulutuksessa ja aktivoi tarvittaessa raskaammat analyysit.

Hexagonin jaettu keskusmuisti mahdollistaa optimoinnit kuten layer fusingin, jossa useita neuroverkon kerroksia käsitellään samanaikaisesti. Tämä vähentää ulkoisen muistin käyttöä ja säästää merkittävästi energiaa.

Hexagonin suoritusyksiköt sisältävät erilliset pipeline-linjat skalaari-, vektori- ja tensorilaskennalle. Tämä antaa ohjelmistolle mahdollisuuden ajoittaa tehtävät optimaalisesti. Lisäksi symmetrinen monisäikeisyys parantaa suorituskykyä piilottamalla muistin viiveitä: kun yksi säie odottaa dataa, toinen voi jatkaa suoritusta.

Hexagon sisältää myös täyden skalaari­prosessorin, joka pystyy ajamaan Linuxia. Tämä helpottaa monimutkaisten monimalliputkien hallintaa ilman riippuvuutta Dragonwingin Arm-prosessoreista.

Tria tuo Dragonwing-prosessorit kehittäjien ulottuville system-on-module (SoM) -ratkaisuilla. Qualcomm-piireille kuten QCS5430 ja QCS6490 Tria on rakentanut moduulit SMARC-standardin ympärille. Näin syntyy kompakti ja skaalautuva alusta esimerkiksi mobiilirobotiikkaan.

IQ9-sarjan keskeiselle IQ-9075-piirille Tria on kehittänyt 3,5 tuuman SBC-alustan, jossa on 36 Gt LPDDR5-muistia ja nopeat MIPI-kameraliitännät. SMARC-moduulit kattavat useita Dragonwing-pohjaisia vaihtoehtoja, kun taas OSM-muotoon toteutettu IQ6-moduuli on optimoitu erityisesti pienikokoisiin ratkaisuihin. Snapdragon X Elite -alustaan perustuvat kortit hyödyntävät suurempia ComExpress- ja ComHPC-formaatteja tarjoten lisää muistia, I/O:ta ja laskentatehoa.

Yhteistä Trialle on lämpö- ja sähköoptimoitu suunnittelu. Moduulien toiminta on validoitu myös haastavissa olosuhteissa, kuten suorassa auringonpaisteessa. Dragonwing-alustat tarjoavat yli 13 vuoden elinkaarituen. Modulaarinen rakenne helpottaa päivityksiä ja mahdollistaa suorituskyvyn kasvattamisen uusilla sukupolvilla.

Aikatauluetu syntyy myös ohjelmistosta. Qualcommin AI Hub tarjoaa satoja valmiiksi optimoituja malleja Snapdragon- ja Dragonwing-alustoille. Kehittäjät voivat ottaa malleja käyttöön nopeasti ja testata eri lähestymistapoja suoraan kohdesovelluksessa.

Qualcommin ja Tria Technologiesin yhteistyö yhdistää korkean AI-suorituskyvyn, laajan ohjelmistoekosysteemin ja valmiit laitteistoratkaisut. Alusta antaa eri toimialojen – kuten teollisuusautomaation, vähittäiskaupan, turvallisuuden, logistiikan ja energiasektorin – kehittäjille työkalut hyödyntää tekoälyn viimeisintä kehitystä.