Kajaanissa CSC:n tiloissa majailevaa LUMI-supertietokonetta on käytetty Turun yliopiston ja Silo AI:n kehittämiin suuriin kielimalleihin kuten Poro ja Viking. CSC:n tekoälypalvelujen kehittämisestä vastaava Aleksi Kallio kertoi ECF24-tapahtumassa, miten suuria kielimalleja koulutetaan supertietokoneella.
LLM-mallin koulutus on raskasta rinnakkaislaskentaa. LUMI-koneella on 2978 GPU-solmua, joissa jokaisessa on neljä AMD Instinct MI250X-prosessoria. Koska piirit ovat kaksiytimisiä, GPU-prosessoreita on käytössä yhteensä 24 tuhatta kappaletta.
Ensimmäinen LUMI-koneen laskema suomalainen kielimalli oli TurkuNLP:n FINGPT3, joka valmistui tammikuussa 2023. Se koulutettiin täysin suomalaisella materiaalilla, Aleksi Kallion mukaan käytännössä kaikella suomalaisella tekstillä, mikä oli käytettävissä. Sen sijaan yhteistyössä Silo AI:n kanssa kehitetty Poro kehitettiin pääosin englanninkielisellä datasarjoilla, jotka yhdistettiin suomalaiseen dataan.
- Englanninkielistä tekstiä on paljon enemmän, joten malli voitiin rakentaa yhdistämällä näitä kieliä. Itse asiassa englanninkielen käyttäminen paransi Poroa, sillä englanninkielessä on enemmän ymmärrystä siitä, miten käsitteet toimivat ja miten maailman toimii.
Poro on jo tavallaan historiaa ja TurkuNLP ja Silo AI työskentelevät Viking-mallin parissa. - VIkign ymmärtää kaikkia viittä pohjoismaista kieltä, englantia ja ohjelmistokoodia. Mallista on koulutettu erikokoisia versioita (7, 13 ja 33 miljardia parametria), Kallio kertoi.
LUMI-superkoneella on koulutettu myös amerikkalaisen Allen-instituutin OLMo-kielimalli, joka on 7 miljardin parametrin malli lähinnä tieteellisten tekstien analyysiin.
Miten LLM-malleja sitten koulutetaan? Malleja koulutetaan ennustamaan haluttu tuotos käyttäjän antamasta syötteestä eli promptista. Mallin esikoulutuksessa muutamia miljardeja - satoja miljardeja parametreja sisältävään neuraaliverkkoon syötetään biljoonia tokeneita - karkeasti ottaen sanoja, Kallio muistuttaa.
Malli ymmärtää myös käsitteitä kuten ajan ja tilan. - Ei voi sanoa, että malli ymmärtäisi maailmaa, mutta sillä on käytössään jonkinlainen malli siitä.
Tämä esikouluttaminen on niin laskentaintensiivinen prosessi, että se voidaan tehdä vain supertietokoneella. Näin saatua mallia viritetään pienemmällä datasarjalla, jotta se oppii noudattamaan sille laadittuja sääntöjä. Tämäkin tehdään yleensä superkoneilla.
Niinpä Poro-mallin koulutukseen kläytettiin 32 miljardia suomen kielen sanaa (tokenia), 500 miljardia tokenia englannin kieltä ja 200 miljardia tokenia ohjelmistokoodia. Data näytteistettiin niin, että suomenkielisten tokeneiden rooli korostui.
Tulokset ovat hyvin. Suomen kielessä Poro 34B on selvästi etevämpi kuin suurin piirtein samankokoinen Llama 33B ja selvästi muita avoimia malleja parempi. Englannin kielessäkin Poro pärjää kohtuullisesti, vaikka jääkin Llaman ja parin muun taakse. - Myös ohjelmakoodissa Poro pärjää hyvin, paremmin kuin Llama ja lähes yhtä hyvin kuin ohjelmakoodiin kehitetty Starcoder-malli. Erityisen hyvin Poro suoriutuu käännöksissä englannista suomeen, jopa paremmin kuin OpenAI:n GPT4.
Aleksi Kallion esitys näkyy ECF-tapahtuman Youtube-kanavalla. Esityskalvot löytyvät täältä.
Apple on ottanut ison askeleen irtautuessaan Qualcommin modeemeista ja julkaissut ensimmäisen oman 5G-modeeminsa, C1:n, iPhone 16e -mallin yhteydessä. Vaikka siirtymä tuo Applen laite- ja ohjelmistosuunnittelun entistä tiiviimmin yhteen, tuoreiden testien valossa Qualcommin modeemit tarjoavat edelleen parempaa suorituskykyä erityisesti nopeuden osalta.
OnePlus on päättänyt luopua yhdestä tunnistettavimmista ominaisuuksistaan eli fyysisestä Alert Slider -tilakytkimestä ja korvata sen uudella ohjelmoitavalla Plus Key -painikkeella. Muutos on osa yhtiön uutta tekoälystrategiaa, jonka keskiössä on ”käyttäjäkohtaisesti mukautuva älykkyys”.
Liikenne- ja viestintävirasto Traficomin mukaan mobiiliverkon laatu vaihtelee Suomessa huomattavasti alueittain. Bittimittari.fi-palvelun mittausten perusteella suurimmat erot näkyvät yhteysnopeuksissa kaupunkien ja maaseudun välillä.
Perinteinen elektroniikan valmistus perustuu prosesseihin, jotka johtavat usein materiaalihävikkiin, korkeisiin työkalukustannuksiin ja merkittäviin varastointikuluihin. Viime vuosina lisäävä valmistus (additive), erityisesti 3D-tulostus, on kuitenkin alkanut nousta varteenotettavaksi vaihtoehdoksi elektroniikan valmistuksessa, sillä se tarjoaa lisää suunnittelun joustavuutta sekä mahdollisia ympäristö- ja taloudellisia etuja.
Vaikka monet organisaatiot ovat jo ottaneet käyttöön perinteisiä tekoälyagentteja, tie täysin autonomisiin tekoälyagentteihin voi sisältää haasteita. Tekemällä strategisia investointeja ja omaksumalla metodisen lähestymistavan agenttien skaalaamiseen, sekä niiden erityisten roolien määrittelyyn, teollisuusyritykset voivat päästä loputtomalta tuntuvien kokeilujen yli ja alkaa nauttia tekoälyagenttien hyödyistä todellisessa elämässä, kirjoittaa teollisuuden ohjelmistoja kehittävän IFS:n tekoälyjohtaja Bob De Cuax.
