De samenwerking tussen het MICS-laboratorium van CentraleSup\u00e9lec, Diabolocom, Artefact en Unbabel, ondersteund door de technologische expertise van AMD en CINES, heeft geresulteerd in de uitgave van het meest geavanceerde model voor meertalige tekstrepresentatie. Dit model dient als fundamentele bouwsteen voor het ophalen van informatie (RAG), classificatie en kwaliteitsschatting (samenvatten, vertalen).<\/p>\n<\/div>
Dit soort modellen zijn essentieel in natuurlijke taalverwerking (NLP) en worden al jaren het meest gedownload op Hugging Face. Hun vermogen om de betekenis en context van zinnen nauwkeurig vast te leggen, met een verfijnd en diepgaand taalkundig begrip, is cruciaal voor de ontwikkeling van geavanceerde artificial intelligence-toepassingen. Het nieuwe EuroBERT-model is vanaf 10 maart 2025 beschikbaar onder de Apache 2.0-licentie op de Knuffelend Gezichtsplatform.<\/a><\/p>\n<\/div> Het onderzoeksproject werd geleid door Nicolas Boizard, een Cifre-promovendus bij Diabolocom, met belangrijke bijdragen van Hippolyte Gisserot-Boukhlef, een Cifre-promovendus bij Artefact, en Duarte Alves, een promovendus bij Instituto Superior T\u00e9cnico (IST). Het bouwt voort op onderzoek dat is gestart door Pierre Colombo, Associate Professor bij CentraleSup\u00e9lec, en is uitgevoerd onder toezicht van C\u00e9line Hudelot, directeur van MICS, en Andr\u00e9 Martins, Associate Professor bij IST. De resultaten staan gedetailleerd beschreven in een paper dat op 10 maart 2025 op arXiv is gepubliceerd: https:\/\/arxiv.org\/abs\/2503.05500<\/a><\/p>\n<\/div> EuroBERT onderscheidt zich op vijf belangrijke manieren van de momenteel verkrijgbare encoders:<\/p>\n<\/div> Het is soeverein en volledig open-source, inclusief zowel de broncode als de datasets.<\/p>\n<\/div><\/li> Het ondersteunt 8 grote Europese talen en 7 van de meest gesproken niet-Europese talen.<\/p>\n<\/div><\/li> Getraind op 5 biljoen tokens, tweemaal de hoeveelheid data die gebruikt wordt voor standaard encoders of generatieve modellen zoals Llama 2 (2 biljoen tokens), biedt EuroBERT optimale mogelijkheden zonder extra gebruikskosten.<\/p>\n<\/div><\/li> De EuroBERT familie biedt de beste basis voor het ophalen van informatie (RAG), classificatie en kwaliteitsschatting (samenvatten, vertalen).<\/p>\n<\/div><\/li> Het blinkt uit in voorheen onderbelichte gebieden zoals wiskundige data verwerking en programmeertalen.<\/p>\n<\/div><\/li><\/ul> Hij is verkrijgbaar in drie modellen (210M, 610M en 2.1B) en biedt een optimale balans tussen snelheid, kwaliteit en kosten, afgestemd op de behoeften van zakelijke gebruikers. Net als bij de CroissantLLM- en EuroLLM-modellen die in 2024 op Hugging Face zijn gepubliceerd, is deze wetenschappelijke vooruitgang mogelijk gemaakt door een nauwe en dynamische publiek-private samenwerking die zijn wortels heeft in het ecosysteem van Parijs-Saclay en zich uitstrekt over heel Europa. De teams van MICS, IST, Diabolocom, Artefact en Unbabel werkten samen in het kader van drie lopende PhD-projecten, ondersteund door de Franse supercomputer Adastra, aangedreven door AMD Instinct\u2122 Accelerators en AMD EPYC\u2122 processors.<\/p>\n<\/div> Het MICS-laboratorium van de CentraleSup\u00e9lec, dat wereldwijd erkend wordt voor zijn uitmuntendheid op het gebied van wiskunde en computerwetenschappen, leidt meerdere onderzoeksprogramma's en projecten in samenwerking met particuliere en openbare organisaties en verlegt voortdurend de grenzen van artificial intelligence. Diabolocom heeft via zijn product voor klantenrelatieondersteuning zijn expertise op het gebied van taalverwerking ingebracht, die in zijn product is ge\u00efntegreerd. Artefact, een Europese leider op het gebied van AI en data consulting, heeft zijn sectoroverschrijdende expertise en strategische visie op talrijke bedrijfstoepassingen ingebracht. Tot slot heeft Unbabel, een technologieleider op het gebied van automatische vertaling, zijn expertise in meertalige AI ingebracht.<\/p>\n<\/div> Met de oprichting van zijn onderzoekscentrum, Diabolocom Research, begin 2025, rust Diabolocom zichzelf uit met nieuwe middelen om concrete en effici\u00ebnte oplossingen te bieden voor de marktvraag naar betrouwbare, soevereine en krachtige AI-systemen.<\/p>\n<\/div> Artefact heeft zich op zijn beurt actief beziggehouden met AI-onderzoek via zijn onderzoekscentrum dat een jaar geleden werd geopend.<\/p>\n<\/div> Wat Unbabel betreft, het eerste AI-gestuurde platform voor taaloperaties:<\/p>\n<\/div> Dit project werd ook mogelijk gemaakt dankzij AMD Instinct\u2122 MI300A Accelerators, ge\u00efntegreerd in Adastra, de zeer effici\u00ebnte Franse supercomputer.<\/p>\n<\/div> Bij de ontwikkeling van EuroBERT waren ook bijdragen betrokken van teams van de Universit\u00e9 Grenoble Alpes, CNRS, LISN, Illuin Technology, IRT Saint-Exup\u00e9ry en CINES.<\/p>\n<\/div> Over CentraleSup\u00e9lec<\/a> - www.centralesupelec.fr<\/strong><\/span><\/p>\n<\/div> CentraleSup\u00e9lec is een openbare instelling gewijd aan wetenschappelijk, cultureel en beroepsonderwijs, opgericht in januari 2015 door de fusie van \u00c9cole Centrale Paris en Sup\u00e9lec. Vandaag de dag is CentraleSup\u00e9lec actief op vier campussen in Frankrijk (Paris-Saclay, Metz, Rennes en Reims) en heeft het meer dan 5.400 studenten, waaronder 3.800 ingenieursstudenten. De instelling heeft 18 onderzoekslaboratoria of -teams. Met een sterke internationale aanwezigheid-25% van haar studenten en bijna een kwart van haar docenten komt uit het buitenland-CentraleSup\u00e9lec heeft meer dan 170 samenwerkingsverbanden met topinstellingen over de hele wereld. Als toonaangevende school op het gebied van hoger onderwijs en onderzoek fungeert zij als benchmark op het gebied van engineering en systeemwetenschappen. In 2020 was CentraleSup\u00e9lec medeoprichter van de Universit\u00e9 Paris-Saclay en leidt momenteel de Groupe des \u00c9coles Centrale (CentraleSup\u00e9lec, Centrale Lyon, Centrale Lille, Centrale Nantes en Centrale M\u00e9diterran\u00e9e), die toezicht houdt op internationale campussen in Beijing (China), Hyderabad (India) en Casablanca (Marokko).<\/p>\n Over het MICS laboratorium<\/strong> Perscontacten:<\/strong><\/span>Een nieuwe technologische sprong in tekstcodering<\/strong><\/h2><\/div>
\nEuroBERT transformeert zo toepassingen voor natuurlijke taalverwerking op basis van zinsrepresentaties, zoals tekstanalyse, het ophalen van informatie, classificatie en informatie-extractie.<\/p>\n<\/div>De kracht en toegevoegde waarde van gezamenlijk onderzoek<\/strong><\/h2><\/div>
\n
\n
\n
\n
\n
\nHet MICS-laboratorium werd opgericht in het begin van de jaren 2000 en bundelt onderzoek in wiskunde en computerwetenschappen aan de CentraleSup\u00e9lec. Het onderzoek bevindt zich in de kern van digitale technologie\u00ebn en richt zich op modellering, simulatie, analyse en optimalisatie van complexe systemen, die industri\u00eble toepassingen, biowetenschappen, financi\u00eble markten en informatienetwerken omvatten. Het MICS-laboratorium is gestructureerd in zes onderzoeksteams die gezamenlijke wetenschappelijke doelstellingen nastreven, samen met een interdisciplinaire focus op kunstmatige intelligentie.<\/p>\n<\/div>
\nClaire Flin: clairefline@gmail.com \u2013 +33 6 95 41 95 90
\nMarion Molina: marionmolinapro@gmail.com \u2013 +33 6 29 11 52 08<\/p>\n<\/div>