Silo AI kertoo saavuttaneensa merkittävän virstanpylvään, kun Poro-mallin koulutus on saatu onnistuneesti päätökseen yhdessä Turun yliopiston ja HPLT:n kanssa. Tämä on ratkaiseva askel Silo AI:lle ja sen pyrkimyksille vahvistaa Euroopan digitaalista suvereniteettia ja demokratisoida suurten kielimallien (LLM) saatavuus kaikilla eurooppalaisilla kielillä.

Silo AI rakentaa monikielisten avoimen lähdekoodin LLM-mallien perhettä. Eurooppalaisten arvojen mukaisten perusmallien kehittäminen on ratkaisevan tärkeää, jotta voidaan varmistaa, että ne perustuvat dataan ja tietoihin, jotka edustavat Euroopan unionin eri kieliä, kansalaisia, organisaatioita ja kulttuurimaisemaa.

Poron koulutuksen valmistuminen toimii todisteena innovatiivisesta lähestymistavasta, jolla kehitetään tekoälymalleja kielille, joilla on niukasti koulutusdataa. Poro päihittää kaikki olemassa olevat avoimet suomen kielen kielimallit, muun muassa FinGPT:n, Mistralin, Llaman ja BLUUMIn 176 miljardin parametrin mallin.

Tämä perustuu siihen, että vähäresurssinen suomen kieli on yhdistetty korkean resurssin kieliin. Poron kehityksessä on pyritty määrittelemään datan optimaalinen uudelleenkäyttötiheys vähäresurssisille kielille harjoittelun aikana ja sisällyttänyt suomenkielisen ja englanninkielisen tekstin välille käännetyt tekstiparit. Tämä strategia perustuu kieltenväliseen signaaliin, jolla parannetaan mallin ymmärrystä kielten välisistä yhteyksistä, ja se on osoittautunut ratkaisevan tärkeäksi, kun on saavutettu ylivoimainen suorituskyky vähäresurssisissä kielissä tinkimättä suorituskyvystä englannin kielessä.

Poron julkaiseminen avoimen lähdekoodin mallina helpottaa laajamittaista saatavuutta ja yhteistoiminnallista parantamista erityisesti aliedustettujen eurooppalaisten kielten osalta. Tämä lähestymistapa rikastuttaa tekoäly-yhteisöä tarjoamalla arvokkaan resurssin tutkimukseen ja kehitykseen ja heijastaa tietoista pyrkimystä lisätä kielellistä monimuotoisuutta tekoälysovelluksissa.

Ensi viaheessa Poro tukee suomen ja englannin kieltä. Tämä on tosin vasta ensimmäinen askel SiloGenin pyrkimyksissä kouluttaa huipputason LLM-malleja kaikille EU:n virallisille kielille.

Poro 34B:n ominaisuudet
  • Poro-tutkimuksen tarkistuspisteet: Mallin tarkistuspisteitä julkaistaan koko koulutusprosessin ajan, mikä antaa ulkopuolisille tutkijoille ennennäkemättömän mahdollisuuden tutkia mallin koulutusprosessia.
  • Malliarkkitehtuuri: Poro 34B on 34,2 miljardia parametria, ja se käyttää BLOOM-arkkitehtuuria, jossa on ALiBi-sulkeumia, jotta konteksti-ikkunoiden ekstrapolointi on mahdollista. Malliarkkitehtuuri on pidetty yksinkertaisena alkuperäisen mallin osalta, mutta tulevat mallit, jotka ovat parhaillaan kehitteillä, tukevat lisäominaisuuksia, kuten välähdyshuomiota, pyöriviä upotuksia ja ryhmiteltyä kyselyhuomiota.
  • Monikieliset ominaisuudet: Poro on suunniteltu käsittelemään englantia ja suomea, ja se hallitsee useita ohjelmointikieliä. Lisäksi se pystyy suorittamaan peruskäännökset englannin ja suomen välillä.
  • Avoin lähdekoodi: Poro on vapaasti saatavilla Apache 2.0 -lisenssin alaisuudessa, mikä tarkoittaa sovellettavuutta sekä kaupalliseen että tutkimuskäyttöön.
  • Tietokanta: Malli on koulutettu 1 triljoonan merkin tietokokonaisuudella, jossa on edustettuna englanti, suomi ja erilaisia ohjelmointikieliä.
  • Koulutuksen yksityiskohdat: Poro koulutetaan käyttämällä 512 AMD MI250X GPU:ta LUMI-supertietokoneella Suomessa.

ETNtv

Watch ECF videos

Korteilla vauhtia IoT-kehitykseen

Sulautetun laitteen kehitys onnistuu useimmiten helpoiten valmiiden moduulien avulla. Nykyään niitä saa myös tehokkailla Apollo Lake -sarjan prosessoreilla varustettuna.

Lue lisÀÀ...

Suomen suurin valtti kybersodassa on luottamus

Teknologia19 – Aalto-yliopiston kyberturvallisuusprofessori Jarno Limnéll uskoo, että luotettavuudesta voi tulla suomalaisten yritysten suurin myyntivaltti tulevaisuudessa. – Tärkein kysymys on tulevaisuudessa, kehen ja mihin voimme luottaa. Luottamuksesta on tulossa hyvin arvokas aineeton pääoma yrityksille, Limnéll sanoi eilen messukeskuksessa.

Lue lisÀÀ...

LATEST NEWS

NEW PRODUCTS

 

NEWSFLASH

 SPONSORS

 

congatec is a rapidly growing technology company focusing on embedded and edge computing products and services. The high-performance computer modules are used in a wide range of applications and devices in industrial automation, medical technology, robotics, telecommunications and many other verticals.

CVG Convergens is an ICT services company specialized in embedded systems, smart connected products and ICT systems and processes for SME businesses. Our mission is to help our clients, our team, and the society to improve and thrive by providing reliable and sustainable solutions, services, and products by creative and efficient application of technology.

 

ADLINK Technology leads edge computing, the catalyst for a world powered by artificial intelligence. We manufacture edge hardware and develop edge software for embedded, distributed and intelligent computing - from powering medical PCs in the intensive care unit to building the world’s first high-speed autonomous race car - more than 1600 customers around the world trust ADLINK for mission-critical success.

 

AcalBfi is a leader in the development of custom technology solutions for electronic applications. Our engineers and our approach will ensure we can solve your technical challenges with custom solutions that integrate multiple technologies.

 

Analog Devices, Inc. is a global semiconductor leader that bridges the physical and digital worlds to enable breakthroughs at the Intelligent Edge. ADI combines analog, digital, and software technologies into solutions that help drive advancements in digitized factories, mobility, and digital healthcare, combat climate change, and reliably connect humans and the world.

 

EBV Elektronik was founded in 1969 and is one of the leading specialists in European semiconductor distribution. This success is based on the underlying company philosophy, which was developed a long time ago and which still applies today: operational excellence, flexibility, reliability and execution – with the goal of achieving the highest degree of customer satisfaction. 

  

The Rohde & Schwarz technology group develops, produces and markets a wide range of electronic capital goods. With its extensive product portfolio, the company makes an important contribution to a safer and connected world. In the test & measurement, secure communications, networks & cybersecurity and broadcast & media markets, customers worldwide rely on Rohde & Schwarz and its cutting-edge solutions.

 

Mespek is an industrial electronics company. Our main product areas are embedded modules, industrial computing, test & measurement modules and server management systems (KVM-switches). Besides our domestic customers we have clients also in several countries such as Benelux, China, Estonia, Ireland, Norway, Russia, Sweden, Switzerland, et cetera..

 

We offer unique and cost-effective customized solutions based on electronic components and systems, as well as standard products from selected manufacturers. We also have own production company for electronics and cabling in Sweden. We have 90 years of experience, deep engagement, knowledge together with trustworthy and effective logistics worldwide. We are ISO 9001 and ISO 14001 certificated.

 

Richardson RFPD, an Arrow Electronics Company, is an electronic component distributor focused on RF and Wireless Communications, industrial IoT, Power Conversion and renewable energy markets. With our global reach and extensive technical capability, we serve our customers through component development and selection, technical support, and world-class logistics and supply chain capabilities. Whether designing with discrete components or looking to take advantage of integrated circuits or systems RichardsonRFPD’s worldwide design centers and technical sales team provide comprehensive support to bring your product ideas to market.

u‑blox is a global technology leader in positioning and wireless communication in automotive, industrial, and consumer markets. Their smart and reliable solutions, services and products let people, vehicles, and machines determine their precise position and communicate wirelessly over cellular and short range networks. With a broad portfolio of chips, modules, and secure data services and connectivity, u‑blox is uniquely positioned to empower its customers to develop innovative and reliable solutions for the Internet of Things, quickly and cost‑effectively.

KYOCERA AVX is a leading global manufacturer of advanced electronic components, including antennas, fuses, capacitors, filters, couplers and RF switches, engineered to accelerate technological innovation and build a better future. Supplying more than one million antennas per day, KYOCERA AVX is an industry-leading supplier of innovative antenna solutions, covering all major frequency bands and applications. KYOCERA AVX antennas utilize a wide array of materials -including LDS, stamped metal, ceramic, PCB, and FPC- to support a variety of custom and standard configurations (external indoor/outdoor, embedded on/off-board).

 

 





ECF template