Forlinx Embedded on tuonut markkinoille uuden M.2-muotoisen AI-kiihdytyskortin, joka perustuu NXP Semiconductors Ara240 -piiriin. Kortti lupaa jopa 40 TOPS:n suorituskyvyn, mutta olennaisempi kysymys on, mitä tällä laskentateholla oikeasti voi tehdä verkon reunalla.
Pelkkä TOPS-luku ei vielä kerro koko totuutta. Se kuvaa yleensä INT8-tarkkuudella tehtävien operaatioiden määrää sekunnissa, eli käytännössä inferenssikykyä. Tämä tarkoittaa, että kyse ei ole mallien kouluttamisesta vaan valmiiden mallien ajamisesta mahdollisimman nopeasti ja pienellä viiveellä.
40 TOPS sijoittuu suorituskyvyltään keskiluokan edge-AI-ratkaisuihin. Se riittää selvästi perinteistä sulautettua prosessoria vaativampiin tehtäviin, mutta ei vielä korvaa pilvipohjaista tekoälylaskentaa.
Käytännössä tämä tarkoittaa ennen kaikkea konenäköä. Yhdellä tällaisella kiihdyttimellä voidaan analysoida useita samanaikaisia videovirtoja, tunnistaa objekteja ja tehdä laaduntarkastusta tuotantolinjalla reaaliajassa. Tämä on tyypillinen käyttökohde, jossa viiveen on oltava kymmeniä millisekunteja eikä dataa haluta lähettää pilveen.
Toinen selkeä käyttökohde on videoanalytiikka. 40 TOPS riittää useiden Full HD -kameravirtojen samanaikaiseen analysointiin, esimerkiksi liikenteen seurantaan tai vähittäiskaupan asiakasvirtojen analyysiin. Tässä kohtaa edge-laskenta tuo suurimman hyödyn, koska kaikkea videodataa ei tarvitse siirtää verkon yli.
Uudempi ja kiinnostavampi alue on generatiivinen AI reunalla. Forlinx korostaa tukea LLM-, VLM- ja VLA-malleille, mutta käytännössä tämä tarkoittaa pieniä ja optimoituja malleja. Muutaman miljardin parametrin kielimallit tai kevyet visio-kielimallit voivat toimia lokaalisti, mutta suuremmat mallit vaativat edelleen pilviresursseja.
Kolmas keskeinen käyttökohde on robotiikka ja teollinen automaatio. Tässä 40 TOPS mahdollistaa sensorifuusion, konenäön ja päätöksenteon yhdistämisen samassa laitteessa. Esimerkiksi robotti voi nähdä, tulkita ja toimia ilman jatkuvaa yhteyttä pilveen. Tämä on erityisen tärkeää turvallisuuskriittisissä ja viiveherkissä sovelluksissa.
Lisätietoja ARA240-kortista täällä.
Tekoälyn siirtyminen pilvestä laitteisiin nostaa esiin uuden vaatimuksen: suorituskyky ei synny pelkästä raudasta tai ohjelmistosta, vaan niiden yhteispelistä. Sulautetussa AI:ssa laitteistoarkkitehtuuri ja mallien optimointi ratkaisevat, kuinka paljon laskentaa voidaan tuoda paikallisesti ilman pilviyhteyttä.
