A colabora\u00e7\u00e3o entre o laborat\u00f3rio MICS do CentraleSup\u00e9lec, a Diabolocom, a Artefact e a Unbabel, com o apoio da experi\u00eancia tecnol\u00f3gica da AMD e do CINES, resultou no lan\u00e7amento do mais avan\u00e7ado modelo de representa\u00e7\u00e3o de texto multil\u00edngue. Esse modelo serve como um bloco de constru\u00e7\u00e3o fundamental para recupera\u00e7\u00e3o de informa\u00e7\u00f5es (RAG), classifica\u00e7\u00e3o e estimativa de qualidade (resumo, tradu\u00e7\u00e3o).<\/p>\n<\/div>
Esses tipos de modelos s\u00e3o essenciais no processamento de linguagem natural (NLP) e est\u00e3o entre os mais baixados no Hugging Face h\u00e1 muitos anos. Sua capacidade de capturar com precis\u00e3o o significado e o contexto das frases, oferecendo uma compreens\u00e3o lingu\u00edstica refinada e aprofundada, \u00e9 crucial para o desenvolvimento de aplicativos avan\u00e7ados de artificial intelligence. O novo modelo EuroBERT est\u00e1 dispon\u00edvel desde 10 de mar\u00e7o de 2025, sob a licen\u00e7a Apache 2.0, no site Plataforma Hugging Face.<\/a><\/p>\n<\/div> O projeto de pesquisa foi liderado por Nicolas Boizard, candidato a PhD do Cifre na Diabolocom, com contribui\u00e7\u00f5es importantes de Hippolyte Gisserot-Boukhlef, candidato a PhD do Cifre na Artefact, e Duarte Alves, candidato a PhD no Instituto Superior T\u00e9cnico (IST). Ele se baseia na pesquisa iniciada por Pierre Colombo, professor associado do CentraleSup\u00e9lec, e foi conduzido sob a supervis\u00e3o de C\u00e9line Hudelot, diretora do MICS, e Andr\u00e9 Martins, professor associado do IST. Os resultados est\u00e3o detalhados em um artigo publicado no arXiv em 10 de mar\u00e7o de 2025: https:\/\/arxiv.org\/abs\/2503.05500<\/a><\/p>\n<\/div> O EuroBERT se destaca dos codificadores atualmente dispon\u00edveis em cinco aspectos principais:<\/p>\n<\/div> Ele \u00e9 soberano e totalmente de c\u00f3digo aberto, incluindo seu c\u00f3digo-fonte e os datasets.<\/p>\n<\/div><\/li> Ele \u00e9 compat\u00edvel com os 8 principais idiomas europeus, bem como com 7 dos idiomas n\u00e3o europeus mais falados.<\/p>\n<\/div><\/li> Treinado em 5 trilh\u00f5es de tokens, o dobro da quantidade de data usada para codificadores padr\u00e3o ou modelos generativos como o Llama 2 (2 trilh\u00f5es de tokens), o EuroBERT oferece recursos ideais sem custos adicionais de uso.<\/p>\n<\/div><\/li> A fam\u00edlia EuroBERT oferece a melhor base para recupera\u00e7\u00e3o de informa\u00e7\u00f5es (RAG), classifica\u00e7\u00e3o e estimativa de qualidade (resumo, tradu\u00e7\u00e3o).<\/p>\n<\/div><\/li> Ele se destaca em \u00e1reas at\u00e9 ent\u00e3o pouco exploradas, como processamento matem\u00e1tico data e linguagens de programa\u00e7\u00e3o.<\/p>\n<\/div><\/li><\/ul> Ele est\u00e1 dispon\u00edvel em tr\u00eas tamanhos de modelo (210M, 610M e 2.1B), oferecendo um equil\u00edbrio ideal entre velocidade, qualidade e custo, adaptado \u00e0s necessidades dos usu\u00e1rios corporativos. Assim como os modelos CroissantLLM e EuroLLM publicados no Hugging Face em 2024, esses avan\u00e7os cient\u00edficos foram poss\u00edveis gra\u00e7as a uma colabora\u00e7\u00e3o p\u00fablico-privada estreita e din\u00e2mica, enraizada no ecossistema Paris-Saclay e estendida por toda a Europa. As equipes do MICS, IST, Diabolocom, Artefact e Unbabel trabalharam juntas dentro da estrutura de tr\u00eas projetos de doutorado em andamento, apoiados pelo supercomputador franc\u00eas Adastra, alimentado por aceleradores AMD Instinct\u2122 e processadores AMD EPYC\u2122.<\/p>\n<\/div> Reconhecido mundialmente por sua excel\u00eancia em matem\u00e1tica e ci\u00eancia da computa\u00e7\u00e3o, o laborat\u00f3rio MICS do CentraleSup\u00e9lec lidera v\u00e1rios programas e projetos de pesquisa em parceria com organiza\u00e7\u00f5es p\u00fablicas e privadas, expandindo continuamente os limites do artificial intelligence. A Diabolocom, por meio de seu produto de suporte ao relacionamento com o cliente, contribuiu com sua experi\u00eancia em processamento de idiomas, que foi integrada ao seu produto. A Artefact, l\u00edder europeia em IA e consultoria data, forneceu sua experi\u00eancia intersetorial e vis\u00e3o estrat\u00e9gica em v\u00e1rios aplicativos empresariais. Por fim, a Unbabel, l\u00edder em tecnologia de tradu\u00e7\u00e3o autom\u00e1tica, contribuiu com sua experi\u00eancia em IA multil\u00edngue.<\/p>\n<\/div> Com o estabelecimento de seu centro de pesquisa, Diabolocom Research, no in\u00edcio de 2025, a Diabolocom est\u00e1 se equipando com novos recursos para fornecer solu\u00e7\u00f5es concretas e eficientes para as demandas do mercado por sistemas de IA confi\u00e1veis, soberanos e de alto desempenho.<\/p>\n<\/div> A Artefact, por sua vez, tem se envolvido ativamente na pesquisa de IA por meio de seu centro de pesquisa, inaugurado h\u00e1 um ano.<\/p>\n<\/div> Quanto \u00e0 Unbabel, a primeira plataforma de opera\u00e7\u00f5es lingu\u00edsticas com tecnologia de IA:<\/p>\n<\/div> Esse projeto tamb\u00e9m foi poss\u00edvel gra\u00e7as aos aceleradores AMD Instinct\u2122 MI300A, integrados ao Adastra, o supercomputador franc\u00eas altamente eficiente.<\/p>\n<\/div> O desenvolvimento do EuroBERT tamb\u00e9m envolveu contribui\u00e7\u00f5es de equipes da Universit\u00e9 Grenoble Alpes, CNRS, LISN, Illuin Technology, IRT Saint-Exup\u00e9ry e CINES.<\/p>\n<\/div> Sobre CentralSup\u00e9lec<\/a> - www.centralesupelec.fr<\/strong><\/span><\/p>\n<\/div> A CentraleSup\u00e9lec \u00e9 uma institui\u00e7\u00e3o p\u00fablica dedicada \u00e0 educa\u00e7\u00e3o cient\u00edfica, cultural e profissional, fundada em janeiro de 2015 por meio da fus\u00e3o da \u00c9cole Centrale Paris e da Sup\u00e9lec. Atualmente, a CentraleSup\u00e9lec opera em quatro campi na Fran\u00e7a (Paris-Saclay, Metz, Rennes e Reims) e tem mais de 5.400 alunos, incluindo 3.800 alunos de engenharia. A institui\u00e7\u00e3o abriga 18 laborat\u00f3rios ou equipes de pesquisa. Com uma forte presen\u00e7a internacional - 25% de seus alunos e quase um quarto de seu corpo docente v\u00eam do exterior - o CentreSup\u00e9lec estabeleceu mais de 170 parcerias com as principais institui\u00e7\u00f5es do mundo. Uma escola l\u00edder em ensino superior e pesquisa, serve como refer\u00eancia nas \u00e1reas de engenharia e ci\u00eancias de sistemas. Em 2020, o CentraleSup\u00e9lec co-fundou a Universit\u00e9 Paris-Saclay e atualmente lidera o Groupe des \u00c9coles Centrale (CentraleSup\u00e9lec, Centrale Lyon, Centrale Lille, Centrale Nantes e Centrale M\u00e9diterran\u00e9e), que supervisiona os campi internacionais em Pequim (China), Hyderabad (\u00cdndia) e Casablanca (Marrocos).<\/p>\n Sobre o Laborat\u00f3rio MICS<\/strong>Um novo salto tecnol\u00f3gico na codifica\u00e7\u00e3o de textos<\/strong><\/h2><\/div>
\nAssim, o EuroBERT est\u00e1 transformando os aplicativos de processamento de linguagem natural baseados em representa\u00e7\u00f5es de frases, como an\u00e1lise de texto, recupera\u00e7\u00e3o de informa\u00e7\u00f5es, classifica\u00e7\u00e3o e extra\u00e7\u00e3o de informa\u00e7\u00f5es.<\/p>\n<\/div>A for\u00e7a e o valor agregado da pesquisa colaborativa<\/strong><\/h2><\/div>
\n
\n
\n
\n
\n
\nFundado no in\u00edcio dos anos 2000, o laborat\u00f3rio MICS re\u00fane pesquisas em Matem\u00e1tica e Ci\u00eancia da Computa\u00e7\u00e3o no CentraleSup\u00e9lec. Posicionado no centro das tecnologias digitais, sua pesquisa se concentra na modelagem, simula\u00e7\u00e3o, an\u00e1lise e otimiza\u00e7\u00e3o de sistemas complexos, abrangendo aplica\u00e7\u00f5es industriais, ci\u00eancias da vida, mercados financeiros e redes de informa\u00e7\u00e3o. O laborat\u00f3rio MICS est\u00e1 estruturado em seis equipes de pesquisa, buscando objetivos cient\u00edficos compartilhados, juntamente com um foco interdisciplinar em Intelig\u00eancia Artificial.<\/p>\n<\/div>