La collaboration entre le laboratoire MICS de CentraleSup\u00e9lec, Diabolocom, Artefact et Unbabel, soutenue par l'expertise technologique d'AMD et du CINES, a abouti \u00e0 la publication du mod\u00e8le de repr\u00e9sentation de texte multilingue le plus avanc\u00e9. Ce mod\u00e8le sert de brique fondamentale pour la recherche d'information (RAG), la classification et l'estimation de la qualit\u00e9 (r\u00e9sum\u00e9, traduction).<\/p>\n<\/div>
Ces types de mod\u00e8les sont essentiels dans le traitement du langage naturel (NLP) et ont \u00e9t\u00e9 parmi les plus t\u00e9l\u00e9charg\u00e9s sur Hugging Face depuis de nombreuses ann\u00e9es. Leur capacit\u00e9 \u00e0 capturer avec pr\u00e9cision le sens et le contexte des phrases, offrant une compr\u00e9hension linguistique raffin\u00e9e et approfondie, est cruciale pour le d\u00e9veloppement d'applications artificial intelligence avanc\u00e9es. Le nouveau mod\u00e8le EuroBERT est disponible \u00e0 partir du 10 mars 2025, sous la licence Apache 2.0, sur le site Plate-forme d'\u00e9treinte du visage.<\/a><\/p>\n<\/div> Le projet de recherche a \u00e9t\u00e9 dirig\u00e9 par Nicolas Boizard, doctorant Cifre \u00e0 Diabolocom, avec des contributions majeures d'Hippolyte Gisserot-Boukhlef, doctorant Cifre \u00e0 Artefact, et de Duarte Alves, doctorant \u00e0 l'Instituto Superior T\u00e9cnico (IST). Elle s'appuie sur une recherche initi\u00e9e par Pierre Colombo, ma\u00eetre de conf\u00e9rences \u00e0 CentraleSup\u00e9lec, et a \u00e9t\u00e9 men\u00e9e sous la supervision de C\u00e9line Hudelot, directrice du MICS, et d'Andr\u00e9 Martins, ma\u00eetre de conf\u00e9rences \u00e0 l'IST. Les r\u00e9sultats sont d\u00e9taill\u00e9s dans un article publi\u00e9 sur arXiv le 10 mars 2025 : https:\/\/arxiv.org\/abs\/2503.05500<\/a><\/p>\n<\/div> EuroBERT se distingue des codeurs actuellement disponibles sur cinq points essentiels :<\/p>\n<\/div> Il est souverain et enti\u00e8rement libre, y compris son code source et ses datasets.<\/p>\n<\/div><\/li> Il prend en charge 8 grandes langues europ\u00e9ennes ainsi que 7 des langues non europ\u00e9ennes les plus parl\u00e9es.<\/p>\n<\/div><\/li> Entra\u00een\u00e9 sur 5 trillions de tokens, soit deux fois la quantit\u00e9 de data utilis\u00e9e pour les codeurs standard ou les mod\u00e8les g\u00e9n\u00e9ratifs tels que Llama 2 (2 trillions de tokens), EuroBERT offre des capacit\u00e9s optimales sans co\u00fbts d'utilisation suppl\u00e9mentaires.<\/p>\n<\/div><\/li> La famille EuroBERT constitue la meilleure base pour la recherche d'informations (RAG), la classification et l'estimation de la qualit\u00e9 (r\u00e9sum\u00e9, traduction).<\/p>\n<\/div><\/li> Il excelle dans des domaines jusqu'ici peu explor\u00e9s tels que le traitement math\u00e9matique data et les langages de programmation.<\/p>\n<\/div><\/li><\/ul> Il est disponible en trois tailles (210M, 610M et 2.1B), offrant un \u00e9quilibre optimal entre vitesse, qualit\u00e9 et co\u00fbt, adapt\u00e9 aux besoins des utilisateurs professionnels. Comme pour les mod\u00e8les CroissantLLM et EuroLLM publi\u00e9s sur Hugging Face en 2024, ces avanc\u00e9es scientifiques ont \u00e9t\u00e9 rendues possibles gr\u00e2ce \u00e0 une collaboration publique-priv\u00e9e \u00e9troite et dynamique, ancr\u00e9e dans l'\u00e9cosyst\u00e8me de Paris-Saclay et \u00e9tendue \u00e0 toute l'Europe. Les \u00e9quipes de MICS, IST, Diabolocom, Artefact, et Unbabel ont travaill\u00e9 ensemble dans le cadre de trois projets de th\u00e8se en cours, soutenus par le supercalculateur fran\u00e7ais Adastra, aliment\u00e9 par des acc\u00e9l\u00e9rateurs AMD Instinct\u2122 et des processeurs AMD EPYC\u2122.<\/p>\n<\/div> Reconnu mondialement pour son excellence en math\u00e9matiques et en informatique, le laboratoire MICS de CentraleSup\u00e9lec m\u00e8ne de multiples programmes et projets de recherche en partenariat avec des organismes priv\u00e9s et publics, repoussant sans cesse les limites de artificial intelligence. Diabolocom, \u00e0 travers son produit de support \u00e0 la relation client, a apport\u00e9 son expertise en traitement du langage, qui a \u00e9t\u00e9 int\u00e9gr\u00e9e dans son produit. Artefact, leader europ\u00e9en de l'IA et du conseil en data, a apport\u00e9 son expertise transversale et sa vision strat\u00e9gique sur de nombreuses applications d'entreprise. Enfin, Unbabel, leader technologique de la traduction automatique, a apport\u00e9 son expertise en IA multilingue.<\/p>\n<\/div> Avec la cr\u00e9ation de son centre de recherche, Diabolocom Research, d\u00e9but 2025, Diabolocom se dote de nouvelles ressources pour apporter des solutions concr\u00e8tes et efficaces aux demandes du march\u00e9 en mati\u00e8re de syst\u00e8mes d'IA fiables, souverains et performants.<\/p>\n<\/div> Pour sa part, Artefact s'est engag\u00e9e activement dans la recherche sur l'IA gr\u00e2ce \u00e0 son centre de recherche, inaugur\u00e9 il y a un an.<\/p>\n<\/div> Quant \u00e0 Unbabel, il s'agit de la premi\u00e8re plateforme d'op\u00e9rations linguistiques aliment\u00e9e par l'IA :<\/p>\n<\/div> Ce projet a \u00e9galement \u00e9t\u00e9 rendu possible gr\u00e2ce aux acc\u00e9l\u00e9rateurs AMD Instinct\u2122 MI300A, int\u00e9gr\u00e9s dans Adastra, le supercalculateur fran\u00e7ais tr\u00e8s performant.<\/p>\n<\/div> Le d\u00e9veloppement d'EuroBERT a \u00e9galement b\u00e9n\u00e9fici\u00e9 de la contribution d'\u00e9quipes de l'Universit\u00e9 Grenoble Alpes, du CNRS, du LISN, d'Illuin Technology, de l'IRT Saint-Exup\u00e9ry et du CINES.<\/p>\n<\/div> A propos de CentraleSup\u00e9lec<\/a> - www.centralesupelec.fr<\/strong><\/span><\/p>\n<\/div> CentraleSup\u00e9lec est un \u00e9tablissement public \u00e0 caract\u00e8re scientifique, culturel et professionnel, n\u00e9 en janvier 2015 de la fusion de l'\u00c9cole Centrale Paris et de Sup\u00e9lec. Aujourd'hui, CentraleSup\u00e9lec est pr\u00e9sente sur quatre campus en France (Paris-Saclay, Metz, Rennes et Reims) et compte plus de 5 400 \u00e9tudiants, dont 3 800 \u00e9l\u00e8ves-ing\u00e9nieurs. L'\u00e9tablissement h\u00e9berge 18 laboratoires ou \u00e9quipes de recherche. Fortement implant\u00e9e \u00e0 l'international - 25% de ses \u00e9tudiants et pr\u00e8s d'un quart de son corps professoral viennent de l'\u00e9tranger - la Centrale Sup\u00e9lec a nou\u00e9 plus de 170 partenariats avec des institutions de premier plan dans le monde entier. Grande \u00e9cole d'enseignement sup\u00e9rieur et de recherche, elle est une r\u00e9f\u00e9rence dans les domaines de l'ing\u00e9nierie et des sciences des syst\u00e8mes. En 2020, CentraleSup\u00e9lec a cofond\u00e9 l'Universit\u00e9 Paris-Saclay et dirige aujourd'hui le Groupe des \u00c9coles Centrale (CentraleSup\u00e9lec, Centrale Lyon, Centrale Lille, Centrale Nantes et Centrale M\u00e9diterran\u00e9e), qui chapeaute les campus internationaux de P\u00e9kin (Chine), Hyderabad (Inde) et Casablanca (Maroc).<\/p>\n \u00c0 propos du laboratoire MICS<\/strong>Un nouveau saut technologique dans l'encodage des textes<\/strong><\/h2><\/div>
\nEuroBERT transforme ainsi les applications de traitement du langage naturel bas\u00e9es sur des repr\u00e9sentations de phrases, telles que l'analyse de texte, la recherche d'informations, la classification et l'extraction d'informations.<\/p>\n<\/div>La force et la valeur ajout\u00e9e de la recherche collaborative<\/strong><\/h2><\/div>
\n
\n
\n
\n
\n
\nCr\u00e9\u00e9 au d\u00e9but des ann\u00e9es 2000, le laboratoire MICS regroupe les recherches en math\u00e9matiques et en informatique de CentraleSup\u00e9lec. Au c\u0153ur des technologies num\u00e9riques, ses recherches portent sur la mod\u00e9lisation, la simulation, l'analyse et l'optimisation des syst\u00e8mes complexes, qu'il s'agisse d'applications industrielles, de sciences de la vie, de march\u00e9s financiers ou de r\u00e9seaux d'information. Le laboratoire MICS est structur\u00e9 en six \u00e9quipes de recherche, poursuivant des objectifs scientifiques communs, avec un axe transversal sur l'Intelligence Artificielle.<\/p>\n<\/div>