![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/04\/Medium-Blog.png\" "\\"Mittel")
<\/span><\/div><\/div><\/div>NACHRICHTEN \/ KI-TECHNOLOGIE<\/p>\n<\/div>
25. November 2020
\nIn diesem Artikel erkl\u00e4rt Amale El Hamri, Senior Data Scientist bei Artefact France, wie man ein Sprachmodell trainiert, ohne die Sprache selbst zu verstehen. Der Artikel enth\u00e4lt Tipps dazu, woher Sie Trainings-data erhalten, wie viel data Sie ben\u00f6tigen, wie Sie Ihr data vorverarbeiten und wie Sie eine Architektur und eine Reihe von Hyperparametern finden, die am besten zu Ihrem Modell passen.<\/p>\n<\/div><\/div><\/div><\/div><\/div>
TLDR<\/span><\/strong><\/p>\n In diesem Artikel erkl\u00e4re ich, wie ich mein eigenes Sprachmodell f\u00fcr Koreanisch erstellt habe, eine komplexe Sprache mit begrenztem Training data. Hier k\u00f6nnen Sie lernen, wie man ein Sprachmodell trainiert, ohne den Luxus zu haben, diese Sprache selbst zu verstehen. Sie finden Tipps dazu, woher Sie data f\u00fcr das Training bekommen, wie viel data Sie ben\u00f6tigen, wie Sie Ihr data vorverarbeiten und wie Sie eine Architektur und einen Satz von Hyperparametern finden, die am besten zu Ihrem Modell passen.<\/p>\n Meine wichtigsten Erkenntnisse sind:<\/em><\/p>\n Data Kollektion:<\/p>\n Data Volumen:<\/p>\n Einf\u00fchrung<\/span><\/strong><\/p>\n Falls Sie es noch nicht wissen: NLP hat in den letzten zwei Jahren einen riesigen Hype um Transfer Learning erlebt. Die Hauptidee ist die Wiederverwendung von zuvor trainierten Sprachmodellen f\u00fcr eine andere NLP-Aufgabe wie z.B. die Textklassifizierung. Ein Sprachmodell ist ein Deep Learning-Modell, das aus einem Teil eines Satzes das n\u00e4chste Wort des Satzes vorhersagen kann. Die Intuition dahinter ist, dass diese Art von Modell die Sprachstruktur, die Grammatik und das Vokabular sehr gut versteht und das Ziel darin besteht, dieses Wissen auf andere nachgelagerte Modelle zu \u00fcbertragen.<\/p>\n Beispiel: ein einfaches Rezept zur Verbesserung eines Textklassifikators durch Feinabstimmung<\/em><\/p>\n Diese Abbildung fasst die ULM Fit-Methode zusammen, die ich f\u00fcr das Training meines Sprachmodells verwendet habe, um es zu verfeinern und in einen Textklassifikator zu \u00fcbertragen.<\/p>\n Wir wissen bereits, dass die Textklassifizierung f\u00fcr Englisch, Franz\u00f6sisch, Deutsch, Spanisch und Chinesisch gut funktioniert... aber was sollen wir mit Sprachen machen, f\u00fcr die es nur wenige Sprachmodelle von der Stange gibt?<\/p>\n Bevor ich auf weitere Details eingehe, fragen Sie sich vielleicht, warum ein franz\u00f6sischer data-Wissenschaftler wie ich einen Textklassifikator auf Koreanisch haben m\u00f6chte? Der Grund daf\u00fcr ist, dass ich an einem Projekt beteiligt bin, das ein Produkt zur Klassifizierung von Beitr\u00e4gen in sozialen Medien in verschiedene Kategorien entwickelt. Nachdem wir die Methode auf Englisch und Franz\u00f6sisch validiert hatten, begannen wir, sie auf andere Sprachen zu \u00fcbertragen (Englisch, Franz\u00f6sisch, Japanisch, Chinesisch und Koreanisch).<\/p>\n Nur bei der koreanischen Sprache gab es eine gr\u00f6\u00dfere Herausforderung, denn es gab kein vortrainiertes Sprachmodell in Open Source, so dass ich es mit sehr wenigen koreanischen Sprachressourcen selbst machen musste.<\/p>\n Dieser Artikel befasst sich mit der Klassifizierung koreanischer Texte mit Hilfe der Multi-Fit-Methode, die im Folgenden erl\u00e4utert wird. Papier<\/a>.<\/p>\n Viele Sprachen sind im Web stark vertreten, wie z.B.: Englisch, Chinesisch, Spanisch, Portugiesisch, Franz\u00f6sisch... Die koreanische Sprache ist nach wie vor sehr schlecht dokumentiert und es gibt nicht viele Inhalte, die wiederverwendet werden k\u00f6nnen. Deshalb wollte ich selbst einen Beitrag leisten, indem ich meine wichtigsten Erkenntnisse mit Ihnen teile, w\u00e4hrend ich das koreanische NLP entdecke.<\/p>\n In diesem Artikel erz\u00e4hle ich Ihnen, wie ich ein koreanisches Sprachmodell trainiert habe, ohne ein einziges Wort Koreanisch zu verstehen, und wie ich es zur Textklassifizierung eingesetzt habe.<\/p>\n Haftungsausschluss:\u00a0<\/strong>Normalerweise betrachten wir ein Sprachmodell als gut, wenn es eine Genauigkeit von etwa 45-50% erreicht. Da mein Ziel nicht darin besteht, koreanischen Text zu generieren, muss ich eine solche Leistung nicht erreichen: Ich brauche nur ein Modell, das die Grammatik und Struktur der koreanischen Sprache \u201cversteht\u201d, damit ich damit einen koreanischen Textklassifikator trainieren kann.<\/p>\n<\/div><\/div><\/div><\/div><\/div> 1 - Data Sammlung f\u00fcr das Training des Sprachmodells<\/strong><\/span><\/p>\n 1.1 - Data Quelle<\/strong><\/span><\/p>\n Wenn Sie ein Sprachmodell von Grund auf trainieren, empfiehlt das ULM FiT-Tutorial normalerweise, alle Wikipedia-Inhalte in der jeweiligen Sprache herunterzuladen. Diese Richtlinien funktionieren nur, wenn Muttersprachler dieser Sprache gewohnt sind, viel auf diesem Kanal zu ver\u00f6ffentlichen.<\/p>\n Im Koreanischen sind die Menschen anscheinend nicht daran gew\u00f6hnt: nicht nur der koreanische Wikipedia-Kontext hat nicht genug Volumen, und er ist auch nicht repr\u00e4sentativ f\u00fcr die koreanische Muttersprache.<\/p>\n Hier ist ein Vergleich zwischen der Anzahl der Artikel in der englischen und koreanischen Wikipedia, um einige Hinweise zu geben:<\/p>\n Mein Ratschlag: Ich habe Wikipedia-Artikel mit Common Crawl data kombiniert, das Sie herunterladen k\u00f6nnen unter Hier<\/a>.<\/p>\n 1.2 - Data Volumen<\/strong><\/p>\n Erinnern wir uns, dass ein Sprachmodell ein Modell ist, das das n\u00e4chste Wort in einem Text vorhersagen soll. Um das zu tun, sollte unser Modell viele Beispiele gesehen haben, um die Sprache zu lernen und gut zu sprechen. Abgesehen davon ist es nicht sinnvoll, mehr als 100 Millionen Token zu verwenden. Das erh\u00f6ht nur die Komplexit\u00e4t Ihres Modells und die Trainingszeit.<\/p>\n Auf den ersten Blick hatte ich also, nachdem ich alle Wikipedia- und Common Crawl data-Dokumente abgerufen hatte, weit mehr als 100 Millionen Token, so dass ich die relevantesten Dokumente f\u00fcr das Training meines Modells ausw\u00e4hlen musste. Das Ziel meiner Methodik ist es, die Dokumente zu behalten, die die koreanische Muttersprache am besten repr\u00e4sentieren:<\/p>\n Jetzt, wo wir unseren Rohbestand an Schulungen haben, k\u00f6nnen wir richtig loslegen!<\/p>\n 2 - Data Tokenisierung<\/strong><\/span><\/p>\n Als ich Ihnen vorhin erz\u00e4hlte, dass ich mit einer Split-Funktion tokenisiert habe, dachten Sie wohl, dieser Artikel sei ein Scherz, aber ich kann Sie beruhigen: Das war nie mein Ziel!<\/p>\n Zun\u00e4chst m\u00f6chten wir Sie daran erinnern, dass f\u00fcr das Training eines Sprachmodells keine weitere data-Vorverarbeitung erforderlich ist. Bei vielen NLP-Aufgaben wird der Text von Zahlen, Stoppw\u00f6rtern, Kleinschreibung, Stemming ... befreit. All dies w\u00fcrde Ihren Text aus dem Kontext rei\u00dfen, und unser Ziel ist es, Koreanisch zu lernen, also m\u00fcssen wir den gesamten Text so behalten, wie er urspr\u00fcnglich geschrieben wurde.<\/p>\n Um koreanischen Text zu tokenisieren, habe ich zwei Tokenisierungsmodelle ausprobiert:<\/p>\n\n
\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/0maA5NXtXpMp8KerA.png\")
<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/1-Lj8fQGUHUKcgH-CYxd8Uw.png\")
<\/p>\n\n
\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/0IU-CQKAbqWW_heiB.png\")
<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n![](\"https:\/\/www.artefact.com\/wp-content\/uploads\/2020\/06\/Global-Newsletter-Data-Digest_LinkedIn_600x315_april.jpg\" "\\"data-driven\\"")
<\/span><\/div><\/div><\/div>