Sony on esitellyt kaksi uutta kuvaprosessoria, joihin on ensimmäistä kertaa maailmassa integroitu tekoälyprosessointi. Tämä mahdollistaa tekoälylaskennan verkon reunalla, minkä ansiosta laitteen ei tarvitse siirtää suuria määriä dataa pilveen laskentaa varten.
Kun tekoälyprosessointi on paikallista, tulokset saadaan nopeammin, tietoturva ei vaarannut datansiirron takia, ja koko prosessoinnin virrankulutus ja kustannukset laskevat. Piirien avulla on mahdollista kehittää uudenlaisia AI-kameroita, joita voidaan käyttää monilla sovellusalueilla teollisuudesta vähittäiskauppaan.
Uudet kuvapiirit ovat IMX500 ja IMX501. Molemmat ovat halkaisijaltaan 7,8-millisiä ja tehokkaita pikseleitä niissä on 12,3 miljoonaa (4056 x 3040). Sony kertoo jo aloittaneensa IMX500-piirien näytetoimitukset asiakkaille. Piiri maksaa reilut 86 euroa.
IMX501-piiri eroaa sisarestaan siten, että se on koteloitu, piirikortille istutettava versio. Sen näytetoimitukset alkavat kesäkuussa. Hinta on kaksinkertainen.
Uudet kuva-anturit eroavat tähänastisista siten, että varsinainen kenno on integroitu logiikkapiirin päälle. Kennon pikselien vastaanottama signaali analysoidaan logiikkapiirillä, joten AI-laskenta ei tarvitse tehokasta prosessoria tai ulkoista muistia. Anturi tuottaa pelkän pikseli-informaation sijaan metatiedot eli kuvadatan semanttisen informaation.
Tästä seuraa monia etuja. Paikallinen prosessointi pienentää siirrettävän datan määrää. AI-laskenta mahdollistaa esimerkiksi sen, että kamera voi seurata reaaliajassa haluttuja kohteita kuvassa. Logiikkapiiriltä löytyy Sonyn DSP-prosessori, joka aiemmissa ratkaisuissa on ollut erillinen komponentti.
Käyttäjä voi valita, mitä dataa IMX500-piirit tuottavat laitteen käyttöön. Valittavina on raaka pikselidata (eli normaali kuvainformaatio), metadata, kuva ISP-prosessoidussa muodossa tai haluttu kiinnostuksen kohde. Sonyn mukaan piirit tunnistavat älykkäästi videokuvan kohteita 1,3 millisekunnissa. Tämä tarkoittaa käytännössä kuvan objektien reaaliaikaista seurantaa.
Käyttäjät voivat kirjoittaa valitsemansa AI-mallit piirin sulautettuun muistiin ja muuttaa ja päivittää malleja oman sovelluksen vaatimusten tai järjestelmän käyttöpaikan olosuhteiden mukaan. Samoja malleja voidaan myös käyttää eri sovelluksissa objektien tunnistamisesta käyttäytymisen tunnistamiseen.
