NVIDIA on julkaissut uuden avoimen LLM-mallin. NVLM 1.0 kilpailee johtavien multimodaalisten kielimallien, kuten OpenAI:n GPT-4:n kanssa. Se näyttää testien perusteella suoriutuvan erityisen hyvin visuaalis-kielellisistä tehtävistä eli malli osaa selittää kuvia ja eri kuvien eroja.
Toisin kuin GPT-4, jonka malliarkkitehtuurit ja datat ovat suurelta osin suljettuja, NVLM 1.0 julkaisee malliensa painot ja avaa koodinsa tutkimusyhteisön käyttöön. Tämä tarjoaa merkittävän edun tutkimuksen ja kehityksen kannalta.
NVLM 1.0:ssa on kolme arkkitehtuurivaihtoehtoa: decoder-only (NVLM-D), cross-attention (NVLM-X) ja hybridi-arkkitehtuuri (NVLM-H). Tämä eroaa GPT-4:n yhden neuroverkon mallista, joka käsittelee teksti- ja kuvasyötteitä ilman erillisiä moduuleja. NVLM tarjoaa erillisiä arkkitehtuurivaihtoehtoja, joista jokaisella on vahvuutensa erilaisissa laskentatehtävissä.
NVLM 1.0 on suunniteltu erityisesti kuvien tunnistukseen ja muihin visuaalis-kielellisiin haasteisiin. Se käyttää dynaamisia korkearesoluutioisia kuvia, mikä parantaa suorituskykyä tehtävissä, kuten tekstintunnistuksessa ja matemaattisessa päättelyssä. GPT-4 on erittäin monipuolinen, mutta se ei ole yhtä optimoitu skannattuihin tai korkearesoluutioisiin kuviin liittyvissä tehtävissä.
GPT-4 on tunnettu kyvystään toimia hyvin sekä teksti- että multimodaalisissa tehtävissä ilman suorituskyvyn heikkenemistä. NVLM 1.0, erityisesti NVLM-D-versio, parantaa multimodaalikoulutuksen aikana jopa mallin tekstipohjaista suorituskykyä matemaattisissa ja koodauksen prosessoinnissa.
GPT-4:n vahvuus on sen kyky yhdistää teksti- ja kuvadatan käsittely sujuvasti. Vaikka NVLM tarjoaa myös kattavan multimodaalikäsittelyn, se eriyttää kuvat ja tekstin eri moduuleilla, mikä voi tarjota enemmän joustavuutta, mutta saattaa olla vähemmän sujuva käytössä kuin GPT-4:n yhtenäinen malliarkkitehtuuri.
Virtaamamittaus on monissa laitteissa kriittinen mutta usein ongelmallinen toiminto. Perinteiset mekaaniset anturit kuluvat ja jäävät sokeiksi pienille virtausnopeuksille. Ultraäänitekniikkaan perustuvat valmiit moduulit tarjoavat nyt tarkan, huoltovapaan ja helposti integroitavan vaihtoehdon niin kuluttaja- kuin teollisuussovelluksiin.