Die Zusammenarbeit zwischen dem MICS-Labor von CentraleSup\u00e9lec, Diabolocom, Artefact und Unbabel, unterst\u00fctzt durch das technologische Know-how von AMD und CINES, hat zur Ver\u00f6ffentlichung des fortschrittlichsten Modells zur Darstellung mehrsprachiger Texte gef\u00fchrt. Dieses Modell dient als grundlegender Baustein f\u00fcr Information Retrieval (RAG), Klassifizierung und Qualit\u00e4tsbewertung (Zusammenfassung, \u00dcbersetzung).<\/p>\n<\/div>
Diese Art von Modellen ist f\u00fcr die Verarbeitung nat\u00fcrlicher Sprache (NLP) unverzichtbar und geh\u00f6rt seit vielen Jahren zu den am h\u00e4ufigsten heruntergeladenen auf Hugging Face. Ihre F\u00e4higkeit, die Bedeutung und den Kontext von S\u00e4tzen genau zu erfassen und ein verfeinertes und tiefgehendes linguistisches Verst\u00e4ndnis zu bieten, ist f\u00fcr die Entwicklung fortschrittlicher artificial intelligence-Anwendungen von entscheidender Bedeutung. Das neue EuroBERT-Modell ist ab dem 10. M\u00e4rz 2025 unter der Apache 2.0 Lizenz auf der Umarmende Gesichtsplattform.<\/a><\/p>\n<\/div> Das Forschungsprojekt wurde von Nicolas Boizard, einem Cifre-Doktoranden bei Diabolocom, geleitet. Wichtige Beitr\u00e4ge leisteten Hippolyte Gisserot-Boukhlef, ein Cifre-Doktorand bei Artefact, und Duarte Alves, ein Doktorand am Instituto Superior T\u00e9cnico (IST). Die Studie basiert auf Forschungsarbeiten, die von Pierre Colombo, au\u00dferordentlicher Professor am CentraleSup\u00e9lec, initiiert wurden und unter der Aufsicht von C\u00e9line Hudelot, Direktorin des MICS, und Andr\u00e9 Martins, au\u00dferordentlicher Professor am IST, durchgef\u00fchrt wurden. Die Ergebnisse sind in einem Papier, das am 10. M\u00e4rz 2025 auf arXiv ver\u00f6ffentlicht wurde, detailliert beschrieben: https:\/\/arxiv.org\/abs\/2503.05500<\/a><\/p>\n<\/div> EuroBERT unterscheidet sich in f\u00fcnf wesentlichen Punkten von den derzeit erh\u00e4ltlichen Encodern:<\/p>\n<\/div> Es ist souver\u00e4n und vollst\u00e4ndig quelloffen, sowohl was den Quellcode als auch die data-Sets betrifft.<\/p>\n<\/div><\/li> Es unterst\u00fctzt 8 wichtige europ\u00e4ische Sprachen sowie 7 der am h\u00e4ufigsten gesprochenen au\u00dfereurop\u00e4ischen Sprachen.<\/p>\n<\/div><\/li> EuroBERT wurde auf 5 Billionen Token trainiert, doppelt so viel wie data, das f\u00fcr Standard-Encoder oder generative Modelle wie Llama 2 (2 Billionen Token) verwendet wird, und bietet somit optimale F\u00e4higkeiten ohne zus\u00e4tzliche Nutzungskosten.<\/p>\n<\/div><\/li> Die EuroBERT-Familie bietet die beste Grundlage f\u00fcr Information Retrieval (RAG), Klassifizierung und Qualit\u00e4tseinsch\u00e4tzung (Zusammenfassung, \u00dcbersetzung).<\/p>\n<\/div><\/li> Es zeichnet sich durch bisher wenig erforschte Bereiche wie die mathematische data-Verarbeitung und Programmiersprachen aus.<\/p>\n<\/div><\/li><\/ul> Er ist in drei Modellgr\u00f6\u00dfen (210M, 610M und 2.1B) erh\u00e4ltlich und bietet ein optimales Gleichgewicht zwischen Geschwindigkeit, Qualit\u00e4t und Kosten, das auf die Bed\u00fcrfnisse von Unternehmensanwendern zugeschnitten ist. Wie bei den CroissantLLM- und EuroLLM-Modellen, die 2024 auf Hugging Face ver\u00f6ffentlicht wurden, wurden diese wissenschaftlichen Fortschritte durch eine enge und dynamische \u00f6ffentlich-private Zusammenarbeit erm\u00f6glicht, die im Paris-Saclay-\u00d6kosystem verwurzelt ist und sich \u00fcber ganz Europa erstreckt. Die Teams von MICS, IST, Diabolocom, Artefact und Unbabel arbeiteten im Rahmen von drei laufenden PhD-Projekten zusammen, die vom franz\u00f6sischen Supercomputer Adastra unterst\u00fctzt wurden, der von AMD Instinct\u2122 Accelerators und AMD EPYC\u2122 Prozessoren angetrieben wird.<\/p>\n<\/div> Das MICS-Labor von CentraleSup\u00e9lec, das weltweit f\u00fcr seine herausragenden Leistungen in den Bereichen Mathematik und Informatik anerkannt ist, leitet zahlreiche Forschungsprogramme und -projekte in Zusammenarbeit mit privaten und \u00f6ffentlichen Organisationen und verschiebt dabei st\u00e4ndig die Grenzen von artificial intelligence. Diabolocom hat mit seinem Produkt zur Unterst\u00fctzung von Kundenbeziehungen sein Fachwissen im Bereich der Sprachverarbeitung eingebracht, das in sein Produkt integriert wurde. Artefact, ein f\u00fchrendes europ\u00e4isches Unternehmen im Bereich KI und data-Beratung, hat sein sektor\u00fcbergreifendes Fachwissen und seine strategische Vision f\u00fcr zahlreiche Unternehmensanwendungen zur Verf\u00fcgung gestellt. Und schlie\u00dflich hat Unbabel, ein f\u00fchrendes Unternehmen im Bereich der maschinellen \u00dcbersetzung, sein Fachwissen im Bereich der mehrsprachigen KI eingebracht.<\/p>\n<\/div> Mit der Gr\u00fcndung des Forschungszentrums Diabolocom Research Anfang 2025 stattet sich Diabolocom mit neuen Ressourcen aus, um konkrete und effiziente L\u00f6sungen f\u00fcr die Marktanforderungen an zuverl\u00e4ssige, souver\u00e4ne und leistungsstarke KI-Systeme zu liefern.<\/p>\n<\/div> Artefact seinerseits hat sich \u00fcber sein vor einem Jahr er\u00f6ffnetes Forschungszentrum aktiv in der KI-Forschung engagiert.<\/p>\n<\/div> Was Unbabel betrifft, die erste KI-gest\u00fctzte Plattform f\u00fcr Sprachoperationen:<\/p>\n<\/div> Dieses Projekt wurde auch dank der AMD Instinct\u2122 MI300A Beschleuniger m\u00f6glich, die in Adastra, dem hocheffizienten franz\u00f6sischen Supercomputer, integriert sind.<\/p>\n<\/div> An der Entwicklung von EuroBERT waren auch Teams der Universit\u00e9 Grenoble Alpes, des CNRS, des LISN, von Illuin Technology, des IRT Saint-Exup\u00e9ry und des CINES beteiligt.<\/p>\n<\/div> \u00dcber CentraleSup\u00e9lec<\/a> - www.centralesupelec.fr<\/strong><\/span><\/p>\n<\/div> CentraleSup\u00e9lec ist eine \u00f6ffentliche Einrichtung, die sich der wissenschaftlichen, kulturellen und beruflichen Bildung widmet und im Januar 2015 durch die Fusion der \u00c9cole Centrale Paris und Sup\u00e9lec gegr\u00fcndet wurde. Heute verf\u00fcgt die CentraleSup\u00e9lec \u00fcber vier Standorte in Frankreich (Paris-Saclay, Metz, Rennes und Reims) und hat mehr als 5.400 Studenten, darunter 3.800 Ingenieurstudenten. Die Einrichtung beherbergt 18 Forschungslabors oder -teams. Mit einer starken internationalen Pr\u00e4senz - 25% der Studenten und fast ein Viertel der Dozenten kommen aus dem Ausland - hat die CentraleSup\u00e9lec mehr als 170 Partnerschaften mit Spitzeneinrichtungen auf der ganzen Welt geschlossen. Als f\u00fchrende Schule in der Hochschulbildung und Forschung dient sie als Ma\u00dfstab in den Bereichen Ingenieur- und Systemwissenschaften. Im Jahr 2020 war die CentraleSup\u00e9lec Mitbegr\u00fcnderin der Universit\u00e9 Paris-Saclay und leitet derzeit die Groupe des \u00c9coles Centrale (CentraleSup\u00e9lec, Centrale Lyon, Centrale Lille, Centrale Nantes und Centrale M\u00e9diterran\u00e9e), die internationale Campusse in Peking (China), Hyderabad (Indien) und Casablanca (Marokko) betreut.<\/p>\n \u00dcber das MICS-Labor<\/strong>Ein neuer Technologiesprung in der Textkodierung<\/strong><\/h2><\/div>
\nEuroBERT transformiert damit Anwendungen zur Verarbeitung nat\u00fcrlicher Sprache, die auf Satzrepr\u00e4sentationen basieren, wie Textanalyse, Informationsabfrage, Klassifizierung und Informationsextraktion.<\/p>\n<\/div>Die St\u00e4rke und der Mehrwert der kollaborativen Forschung<\/strong><\/h2><\/div>
\n
\n
\n
\n
\n
\nDas MICS-Labor wurde in den fr\u00fchen 2000er Jahren gegr\u00fcndet und vereint die Forschung in Mathematik und Informatik an der CentraleSup\u00e9lec. Im Zentrum der digitalen Technologien gelegen, konzentriert sich die Forschung auf die Modellierung, Simulation, Analyse und Optimierung komplexer Systeme, die industrielle Anwendungen, Biowissenschaften, Finanzm\u00e4rkte und Informationsnetzwerke umfassen. Das MICS-Labor ist in sechs Forschungsteams gegliedert, die gemeinsame wissenschaftliche Ziele verfolgen und einen disziplin\u00fcbergreifenden Schwerpunkt auf K\u00fcnstliche Intelligenz legen.<\/p>\n<\/div>