Google on julkaissut uuden Gemma 3 270M -tekoälymallin, joka tuo generatiivisen tekoälyn suoraan taskuun – ja vieläpä energiatehokkaammin kuin koskaan. Malli on vain 270 miljoonan parametrin kokoinen ja optimoitu erityisesti paikalliseen ajoon pienissä laitteissa, kuten älypuhelimissa, tableteissa ja jopa yksinkertaisissa yksikorttitietokoneissa.
Googlen mukaan malli voidaan kvantisoida INT4-tarkkuuteen, jolloin sen koko putoaa noin 135 megatavuun. Tämä tekee siitä poikkeuksellisen helposti ajettavan laitteissa, joissa on rajoitetusti muistia ja laskentatehoa. Vertailun vuoksi Pixel 9 Pro -puhelimessa kvantisoitu versio kulutti vain 0,75 prosenttia akkua 25 keskustelun aikana.
Mallin pieni koko ja optimointi mahdollistavat sen käytön monenlaisissa laitteissa. Se toimii älypuhelimissa – sekä Android- että iOS-laitteissa – joissa on vähintään muutama gigatavu RAM-muistia ja moderni suoritin tai neuroverkkoprosessori. Se sopii myös tabletteihin ja Chromebookeihin. Raspberry Pi 5 ja muut vastaavat yksikorttitietokoneet, joissa on vähintään neljä gigatavua muistia, pystyvät ajamaan mallia ilman ongelmia. Lisäksi se voi toimia joissakin AR- ja VR-laseissa sekä älykelloissa, jos laitteissa on riittävä NPU-kiihdytys. Myös Edge AI -laitteet, kuten Google Coral Edge TPU tai Qualcomm Snapdragon AI Engine -pohjaiset hubit, ovat mahdollisia käyttöympäristöjä.
Mallin muistivaatimukset vaihtelevat käytetyn tarkkuuden mukaan: FP16-muodossa se vie noin 540 megatavua, INT8-muodossa noin 270 megatavua ja INT4-muodossa vain noin 135 megatavua.
Gemma 3 270M on suunniteltu erityisesti tehtäväkohtaiseen hienosäätöön, kuten tunneanalyysiin, entiteettien tunnistukseen ja tietojen jäsentämiseen. Sen pieni koko mahdollistaa nopean ja edullisen tuotantokäytön ilman pilviyhteyttä, mikä tuo yksityisyydelle ja tietoturvalle merkittävän edun.
Googlen mukaan malli on ladattavissa heti Hugging Facesta, Ollamasta, Kagglesta, LM Studiosta ja Dockerista. Käyttö onnistuu myös suoraan selaimessa tai mobiililaitteessa esimerkiksi Transformers.js:n avulla. Gemma 3 270M on selvä askel kohti AI-sovelluksia, jotka toimivat missä tahansa, oli kyseessä sitten lippulaivapuhelin tai pieni kehityskortti työpöydällä.
