La colaboraci\u00f3n entre el laboratorio MICS de CentraleSup\u00e9lec, Diabolocom, Artefact y Unbabel, apoyada por la experiencia tecnol\u00f3gica de AMD y CINES, ha dado como resultado el lanzamiento del modelo de representaci\u00f3n de texto multiling\u00fce m\u00e1s avanzado. Este modelo sirve de base fundamental para la recuperaci\u00f3n de informaci\u00f3n (RAG), la clasificaci\u00f3n y la estimaci\u00f3n de la calidad (resumen, traducci\u00f3n).<\/p>\n<\/div>
Este tipo de modelos son esenciales en el procesamiento del lenguaje natural (PLN) y se encuentran entre los m\u00e1s descargados en Hugging Face desde hace muchos a\u00f1os. Su capacidad para captar con precisi\u00f3n el significado y el contexto de las frases, ofreciendo una comprensi\u00f3n ling\u00fc\u00edstica refinada y profunda, es crucial para el desarrollo de aplicaciones artificial intelligence avanzadas. El nuevo modelo EuroBERT est\u00e1 disponible desde el 10 de marzo de 2025, bajo licencia Apache 2.0 en la p\u00e1gina web Plataforma Cara de Abrazo.<\/a><\/p>\n<\/div> El proyecto de investigaci\u00f3n fue dirigido por Nicolas Boizard, doctorando Cifre en Diabolocom, con importantes contribuciones de Hippolyte Gisserot-Boukhlef, doctorando Cifre en Artefact, y Duarte Alves, doctorando en el Instituto Superior T\u00e9cnico (IST). Se basa en la investigaci\u00f3n iniciada por Pierre Colombo, profesor asociado de CentraleSup\u00e9lec, y se llev\u00f3 a cabo bajo la supervisi\u00f3n de C\u00e9line Hudelot, directora del MICS, y Andr\u00e9 Martins, profesor asociado del IST. Los resultados se detallan en un art\u00edculo publicado en arXiv el 10 de marzo de 2025: https:\/\/arxiv.org\/abs\/2503.05500<\/a><\/p>\n<\/div> EuroBERT se distingue de los codificadores disponibles en la actualidad en cinco aspectos fundamentales:<\/p>\n<\/div> Es soberano y totalmente de c\u00f3digo abierto, incluyendo tanto su c\u00f3digo fuente como los datasets.<\/p>\n<\/div><\/li> Es compatible con 8 de las principales lenguas europeas, as\u00ed como con 7 de las lenguas no europeas m\u00e1s habladas.<\/p>\n<\/div><\/li> Entrenado con 5 billones de tokens, el doble de la cantidad de data utilizada para codificadores est\u00e1ndar o modelos generativos como Llama 2 (2 billones de tokens), EuroBERT ofrece capacidades \u00f3ptimas sin costes de uso adicionales.<\/p>\n<\/div><\/li> La familia EuroBERT proporciona la mejor base para la recuperaci\u00f3n de informaci\u00f3n (RAG), la clasificaci\u00f3n y la estimaci\u00f3n de la calidad (resumen, traducci\u00f3n).<\/p>\n<\/div><\/li> Destaca en \u00e1reas hasta ahora poco exploradas como el procesamiento matem\u00e1tico data y los lenguajes de programaci\u00f3n.<\/p>\n<\/div><\/li><\/ul> Est\u00e1 disponible en tres tama\u00f1os de modelo (210M, 610M y 2.1B), que ofrecen un equilibrio \u00f3ptimo entre velocidad, calidad y coste, adaptado a las necesidades de los usuarios empresariales. Al igual que los modelos CroissantLLM y EuroLLM publicados en Hugging Face en 2024, estos avances cient\u00edficos han sido posibles gracias a una estrecha y din\u00e1mica colaboraci\u00f3n p\u00fablico-privada arraigada en el ecosistema Par\u00eds-Saclay y extendida por toda Europa. Los equipos de MICS, IST, Diabolocom, Artefact y Unbabel trabajaron juntos en el marco de tres proyectos de doctorado en curso, apoyados por el superordenador franc\u00e9s Adastra, alimentado por aceleradores AMD Instinct\u2122 y procesadores AMD EPYC\u2122.<\/p>\n<\/div> Reconocido en todo el mundo por su excelencia en matem\u00e1ticas e inform\u00e1tica, el laboratorio MICS de CentraleSup\u00e9lec dirige m\u00faltiples programas y proyectos de investigaci\u00f3n en colaboraci\u00f3n con organizaciones privadas y p\u00fablicas, ampliando continuamente los l\u00edmites de la artificial intelligence. Diabolocom, a trav\u00e9s de su producto de apoyo a las relaciones con los clientes, ha aportado su experiencia en el tratamiento del lenguaje, que se ha integrado en su producto. Artefact, l\u00edder europeo en IA y consultor\u00eda data, aport\u00f3 su experiencia intersectorial y su visi\u00f3n estrat\u00e9gica en numerosas aplicaciones empresariales. Por \u00faltimo, Unbabel, l\u00edder tecnol\u00f3gico en traducci\u00f3n autom\u00e1tica, aport\u00f3 su experiencia en IA multiling\u00fce.<\/p>\n<\/div> Con la creaci\u00f3n de su centro de investigaci\u00f3n, Diabolocom Research, a principios de 2025, Diabolocom se est\u00e1 dotando de nuevos recursos para ofrecer soluciones concretas y eficaces a las demandas del mercado de sistemas de IA fiables, soberanos y de alto rendimiento.<\/p>\n<\/div> Artefact, por su parte, se ha dedicado activamente a la investigaci\u00f3n de la IA a trav\u00e9s de su centro de investigaci\u00f3n, inaugurado hace un a\u00f1o.<\/p>\n<\/div> En cuanto a Unbabel, la primera plataforma de operaciones ling\u00fc\u00edsticas impulsada por IA:<\/p>\n<\/div> Este proyecto tambi\u00e9n fue posible gracias a los aceleradores AMD Instinct\u2122 MI300A, integrados en Adastra, el superordenador franc\u00e9s de alta eficiencia.<\/p>\n<\/div> En el desarrollo de EuroBERT tambi\u00e9n han participado equipos de la Universidad de Grenoble Alpes, el CNRS, el LISN, Illuin Technology, el IRT Saint-Exup\u00e9ry y el CINES.<\/p>\n<\/div> Acerca de CentraleSup\u00e9lec<\/a> - www.centralesupelec.fr<\/strong><\/span><\/p>\n<\/div> CentraleSup\u00e9lec es una instituci\u00f3n p\u00fablica dedicada a la educaci\u00f3n cient\u00edfica, cultural y profesional, fundada en enero de 2015 mediante la fusi\u00f3n de \u00c9cole Centrale Paris y Sup\u00e9lec. En la actualidad, CentraleSup\u00e9lec opera en cuatro campus en Francia (Par\u00eds-Saclay, Metz, Rennes y Reims) y cuenta con m\u00e1s de 5.400 estudiantes, incluidos 3.800 estudiantes de ingenier\u00eda. La instituci\u00f3n alberga 18 laboratorios o equipos de investigaci\u00f3n. Con una fuerte presencia internacional-25% de sus estudiantes y casi una cuarta parte de su profesorado proceden del extranjero-CentraleSup\u00e9lec ha establecido m\u00e1s de 170 asociaciones con instituciones de primer orden de todo el mundo. Escuela l\u00edder en ense\u00f1anza superior e investigaci\u00f3n, sirve de referencia en los campos de la ingenier\u00eda y las ciencias de sistemas. En 2020, CentraleSup\u00e9lec cofund\u00f3 la Universit\u00e9 Paris-Saclay y actualmente dirige el Groupe des \u00c9coles Centrale (CentraleSup\u00e9lec, Centrale Lyon, Centrale Lille, Centrale Nantes y Centrale M\u00e9diterran\u00e9e), que supervisa los campus internacionales de Pek\u00edn (China), Hyderabad (India) y Casablanca (Marruecos).<\/p>\n Acerca del laboratorio MICS<\/strong>Un nuevo salto tecnol\u00f3gico en la codificaci\u00f3n de textos<\/strong><\/h2><\/div>
\nEuroBERT est\u00e1 transformando as\u00ed las aplicaciones de procesamiento del lenguaje natural basadas en representaciones de frases, como el an\u00e1lisis de textos, la recuperaci\u00f3n de informaci\u00f3n, la clasificaci\u00f3n y la extracci\u00f3n de informaci\u00f3n.<\/p>\n<\/div>La fuerza y el valor a\u00f1adido de la investigaci\u00f3n en colaboraci\u00f3n<\/strong><\/h2><\/div>
\n
\n
\n
\n
\n
\nFundado a principios de la d\u00e9cada de 2000, el laboratorio MICS re\u00fane la investigaci\u00f3n en Matem\u00e1ticas e Inform\u00e1tica de CentraleSup\u00e9lec. Situado en el n\u00facleo de las tecnolog\u00edas digitales, su investigaci\u00f3n se centra en la modelizaci\u00f3n, simulaci\u00f3n, an\u00e1lisis y optimizaci\u00f3n de sistemas complejos, abarcando aplicaciones industriales, ciencias de la vida, mercados financieros y redes de informaci\u00f3n. El laboratorio MICS est\u00e1 estructurado en seis equipos de investigaci\u00f3n, que persiguen objetivos cient\u00edficos comunes, junto con un enfoque transversal en Inteligencia Artificial.<\/p>\n<\/div>