![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/04\/Medium-Blog.png\" "\\"Moyen")
<\/span><\/div><\/div><\/div>ACTUALIT\u00c9S \/ TECHNOLOGIE DE L'AI<\/p>\n<\/div>
25 novembre 2020
\nDans cet article, Amale El Hamri, scientifique senior Data \u00e0 Artefact France, explique comment former un mod\u00e8le linguistique sans comprendre la langue elle-m\u00eame. L'article comprend des conseils sur l'origine des data d'entra\u00eenement, la quantit\u00e9 de data dont vous avez besoin, le pr\u00e9traitement de vos data et la recherche d'une architecture et d'un ensemble d'hyperparam\u00e8tres qui conviennent le mieux \u00e0 votre mod\u00e8le.<\/p>\n<\/div><\/div><\/div><\/div><\/div>
TLDR<\/span><\/strong><\/p>\n Cet article explique comment j'ai cr\u00e9\u00e9 mon propre mod\u00e8le linguistique en cor\u00e9en, une langue complexe pour laquelle la formation est limit\u00e9e data. Vous apprendrez ici comment former un mod\u00e8le linguistique sans avoir le luxe de comprendre cette langue vous-m\u00eame. Vous trouverez des conseils sur l'obtention de data d'entra\u00eenement, la quantit\u00e9 de data dont vous avez besoin, le pr\u00e9traitement de votre data et la recherche d'une architecture et d'un ensemble d'hyperparam\u00e8tres qui conviennent le mieux \u00e0 votre mod\u00e8le.<\/p>\n Mes principaux enseignements sont les suivants :<\/em><\/p>\n Collection Data :<\/p>\n Volume Data :<\/p>\n Introduction<\/span><\/strong><\/p>\n Si vous ne le savez pas encore, l'apprentissage par transfert a connu un v\u00e9ritable engouement au cours des deux derni\u00e8res ann\u00e9es. L'id\u00e9e principale est de r\u00e9utiliser des mod\u00e8les de langage pr\u00e9-entra\u00een\u00e9s pour une autre t\u00e2che de NLP telle que la classification de texte. Un mod\u00e8le de langage est un mod\u00e8le d'apprentissage profond qui, \u00e0 partir d'une partie de phrase, est capable de pr\u00e9dire le mot suivant de la phrase. L'intuition qu'il faut en tirer est que ce type de mod\u00e8le comprend tr\u00e8s bien la structure de la langue, la grammaire, le vocabulaire, et l'objectif est de \u2018transf\u00e9rer\u2019 cette connaissance \u00e0 d'autres mod\u00e8les en aval.<\/p>\n Exemple : une recette simple sur la fa\u00e7on d'am\u00e9liorer un classificateur de texte en utilisant le r\u00e9glage fin<\/em><\/p>\n Cette figure r\u00e9sume la m\u00e9thode ULM Fit que j'ai utilis\u00e9e pour entra\u00eener mon mod\u00e8le linguistique et donc l'affiner et le transf\u00e9rer dans un classificateur de texte.<\/p>\n Nous savons d\u00e9j\u00e0 que la classification des textes fonctionne bien pour l'anglais, le fran\u00e7ais, l'allemand, l'espagnol, le chinois... mais que faire pour les langues pour lesquelles il n'existe que tr\u00e8s peu de mod\u00e8les linguistiques disponibles sur le march\u00e9 ?<\/p>\n Avant d'entrer dans les d\u00e9tails, vous vous demandez peut-\u00eatre pourquoi un scientifique fran\u00e7ais data comme moi voudrait avoir un classificateur de texte en cor\u00e9en ? La raison est que je fais partie d'un projet qui d\u00e9veloppe un produit pour classer les messages des m\u00e9dias sociaux en diff\u00e9rentes cat\u00e9gories. Apr\u00e8s avoir valid\u00e9 la m\u00e9thodologie en anglais et en fran\u00e7ais, nous avons commenc\u00e9 \u00e0 l'\u00e9tendre \u00e0 d'autres langues (anglais, fran\u00e7ais, japonais, chinois et cor\u00e9en).<\/p>\n Seul le cor\u00e9en repr\u00e9sentait un d\u00e9fi plus important, car il n'existait pas de mod\u00e8le linguistique pr\u00e9-entra\u00een\u00e9 en source ouverte, et j'ai donc d\u00fb le faire moi-m\u00eame avec tr\u00e8s peu de ressources linguistiques cor\u00e9ennes.<\/p>\n Cet article se concentre sur la classification de textes cor\u00e9ens \u00e0 l'aide de la m\u00e9thode multi-fit expliqu\u00e9e ci-dessous. papier<\/a>.<\/p>\n De nombreuses langues sont tr\u00e8s repr\u00e9sent\u00e9es sur le web, telles que l'anglais, le chinois, l'espagnol, le portugais et le fran\u00e7ais : L'anglais, le chinois, l'espagnol, le portugais, le fran\u00e7ais... Le cor\u00e9en reste tr\u00e8s peu document\u00e9 et peu de contenu est pr\u00eat \u00e0 \u00eatre r\u00e9utilis\u00e9. J'ai donc pens\u00e9 \u00e0 apporter ma contribution en partageant avec vous mes apprentissages cl\u00e9s, tout en d\u00e9couvrant le NLP cor\u00e9en.<\/p>\n Dans cet article, je vais vous raconter mon parcours pour former un mod\u00e8le de langue cor\u00e9enne sans comprendre un seul mot de cor\u00e9en et comment je l'ai utilis\u00e9 pour la classification de textes.<\/p>\n Avis de non-responsabilit\u00e9 :\u00a0<\/strong>Habituellement, nous consid\u00e9rons qu'un mod\u00e8le de langage est bon lorsqu'il atteint une pr\u00e9cision d'environ 45-50%. Mon objectif n'\u00e9tant pas de g\u00e9n\u00e9rer du texte cor\u00e9en, je n'ai pas besoin d'atteindre de telles performances : J'ai seulement besoin d'un mod\u00e8le qui \u201ccomprenne\u201d la grammaire et la structure de la langue cor\u00e9enne afin de pouvoir l'utiliser pour entra\u00eener un classificateur de texte cor\u00e9en.<\/p>\n<\/div><\/div><\/div><\/div><\/div> 1 - Collection Data pour l'entra\u00eenement au mod\u00e8le linguistique<\/strong><\/span><\/p>\n 1.1 - Source Data<\/strong><\/span><\/p>\n Habituellement, lors de l'entra\u00eenement d'un mod\u00e8le linguistique \u00e0 partir de z\u00e9ro, le tutoriel ULM FiT sugg\u00e8re de t\u00e9l\u00e9charger tout le contenu de Wikip\u00e9dia dans la langue donn\u00e9e. Ces recommandations ne fonctionnent que si les locuteurs natifs de cette langue ont l'habitude de publier beaucoup sur ce canal.<\/p>\n En cor\u00e9en, il semble que les gens ne soient pas habitu\u00e9s : non seulement le contexte cor\u00e9en de Wikipedia n'a pas assez de volume, mais il n'est pas non plus repr\u00e9sentatif de la langue maternelle cor\u00e9enne.<\/p>\n Voici une comparaison entre le nombre d'articles dans les Wikip\u00e9dias anglaise et cor\u00e9enne pour vous donner quelques indications :<\/p>\n Mon conseil : J'ai combin\u00e9 des articles de Wikipedia avec Common Crawl data que vous pouvez t\u00e9l\u00e9charger \u00e0 partir de ici<\/a>.<\/p>\n 1.2 - Volume du Data<\/strong><\/p>\n Rappelons qu'un mod\u00e8le de langage est un mod\u00e8le cens\u00e9 pr\u00e9dire le mot suivant dans un texte. Pour ce faire, notre mod\u00e8le doit avoir vu un grand nombre d'exemples pour apprendre la langue et \u00eatre capable de la parler. Ceci \u00e9tant dit, il n'est pas utile d'aller au-del\u00e0 de 100 millions de tokens. Cela ne fait qu'ajouter de la complexit\u00e9 \u00e0 votre mod\u00e8le ainsi qu'un temps d'apprentissage consid\u00e9rable.<\/p>\n Ainsi, \u00e0 premi\u00e8re vue, une fois que j'ai r\u00e9cup\u00e9r\u00e9 tous les documents de Wikipedia et de Common Crawl data, je me suis retrouv\u00e9 avec bien plus de 100 millions de tokens, et j'ai donc d\u00fb choisir les documents les plus pertinents pour entra\u00eener mon mod\u00e8le. L'objectif de ma m\u00e9thodologie est de conserver les documents qui repr\u00e9sentent le mieux la langue cor\u00e9enne :<\/p>\n Maintenant que nous disposons de notre corpus brut de formation, nous pouvons commencer \u00e0 travailler !<\/p>\n 2 - Data tokenization<\/strong><\/span><\/p>\n Je suppose que lorsque je vous ai dit tout \u00e0 l'heure que j'avais tokenis\u00e9 avec une fonction split, vous avez commenc\u00e9 \u00e0 penser que cet article \u00e9tait vraiment une blague, mais rassurez-vous, cela n'a jamais \u00e9t\u00e9 ma finalit\u00e9 !<\/p>\n Tout d'abord, rappelons qu'aucun autre pr\u00e9traitement data n'est n\u00e9cessaire pour l'entra\u00eenement d'un mod\u00e8le de langage. Un grand nombre de t\u00e2ches NLP proc\u00e8dent \u00e0 l'\u00e9puration du texte en supprimant les chiffres, les mots vides, les minuscules, les troncs d'arbre... Toutes ces op\u00e9rations priveraient votre texte de son contexte et notre objectif \u00e9tant d'apprendre \u00e0 parler cor\u00e9en, nous devons conserver tout notre texte tel qu'il a \u00e9t\u00e9 \u00e9crit \u00e0 l'origine.<\/p>\n Pour tokeniser le texte cor\u00e9en, j'ai essay\u00e9 deux mod\u00e8les de tokenisation :<\/p>\n\n
\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/0maA5NXtXpMp8KerA.png\")
<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/1-Lj8fQGUHUKcgH-CYxd8Uw.png\")
<\/p>\n\n
\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/0IU-CQKAbqWW_heiB.png\")
<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n![](\"https:\/\/www.artefact.com\/wp-content\/uploads\/2020\/06\/Global-Newsletter-Data-Digest_LinkedIn_600x315_april.jpg\" "\\"data-driven\\"")
<\/span><\/div><\/div><\/div>