![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/04\/Medium-Blog.png\" "\\"Mediano")
<\/span><\/div><\/div><\/div>NOTICIAS \/ TECNOLOG\u00cdA AI<\/p>\n<\/div>
25 de noviembre de 2020
\nEn este art\u00edculo, Amale El Hamri, cient\u00edfico senior de Data en Artefact Francia, explica c\u00f3mo entrenar un modelo ling\u00fc\u00edstico sin tener que entender la lengua usted mismo. El art\u00edculo incluye consejos sobre de d\u00f3nde obtener data de entrenamiento, cu\u00e1nto data necesita, c\u00f3mo preprocesar su data y c\u00f3mo encontrar una arquitectura y un conjunto de hiperpar\u00e1metros que se adapten mejor a su modelo.<\/p>\n<\/div><\/div><\/div><\/div><\/div>
TLDR<\/span><\/strong><\/p>\n Este art\u00edculo explica c\u00f3mo cre\u00e9 mi propio modelo ling\u00fc\u00edstico hecho en coreano, un idioma complejo con un entrenamiento limitado data. Aqu\u00ed podr\u00e1 aprender a entrenar un modelo ling\u00fc\u00edstico sin tener el lujo de entender este idioma usted mismo. Encontrar\u00e1 consejos sobre de d\u00f3nde obtener data de entrenamiento, cu\u00e1nto data necesita, c\u00f3mo preprocesar su data y c\u00f3mo encontrar una arquitectura y un conjunto de hiperpar\u00e1metros que se adapten mejor a su modelo.<\/p>\n Mis principales aprendizajes son:<\/em><\/p>\n Colecci\u00f3n Data:<\/p>\n Volumen Data:<\/p>\n Introducci\u00f3n<\/span><\/strong><\/p>\n Por si a\u00fan no lo sabe, la PNL ha experimentado un gran auge del aprendizaje por transferencia en estos dos \u00faltimos a\u00f1os. La idea principal es reutilizar modelos de lenguaje preentrenados para otra tarea de PNL, como la clasificaci\u00f3n de textos. Un modelo de lenguaje es un modelo de aprendizaje profundo que, dada una parte de una frase, es capaz de predecir la siguiente palabra de la frase. La intuici\u00f3n que se desprende de esto es que este tipo de modelo entiende muy bien la estructura del lenguaje, la gram\u00e1tica, el vocabulario, y el objetivo es \u2018transferir\u2019 ese conocimiento a otros modelos posteriores.<\/p>\n Ejemplo: una receta sencilla sobre c\u00f3mo mejorar un clasificador de texto mediante el ajuste fino<\/em><\/p>\n Esta figura resume el m\u00e9todo ULM Fit que utilic\u00e9 para entrenar mi modelo ling\u00fc\u00edstico y as\u00ed afinarlo y transferirlo a un clasificador de texto.<\/p>\n Ya sabemos que la clasificaci\u00f3n de textos funciona muy bien en ingl\u00e9s, franc\u00e9s, alem\u00e1n, espa\u00f1ol, chino... pero \u00bfqu\u00e9 debemos hacer en lenguas con muy pocos modelos ling\u00fc\u00edsticos disponibles?<\/p>\n Antes de entrar en m\u00e1s detalles, quiz\u00e1 se pregunte por qu\u00e9 un cient\u00edfico data franc\u00e9s como yo querr\u00eda tener un clasificador de texto en coreano. La raz\u00f3n es que formo parte de un proyecto que desarrolla un producto para clasificar las publicaciones de los medios sociales en diferentes categor\u00edas. Tras validar la metodolog\u00eda en ingl\u00e9s y franc\u00e9s, empezamos a escalarla a otros idiomas (ingl\u00e9s, franc\u00e9s, japon\u00e9s, chino y coreano).<\/p>\n S\u00f3lo que el reto era mayor en coreano porque no se pod\u00eda encontrar ning\u00fan modelo ling\u00fc\u00edstico preentrenado en c\u00f3digo abierto, as\u00ed que tuve que hacerlo yo mismo con muy pocos recursos ling\u00fc\u00edsticos coreanos.<\/p>\n Este art\u00edculo se centrar\u00e1 en la clasificaci\u00f3n de textos coreanos mediante el m\u00e9todo de ajuste m\u00faltiple que se explica a continuaci\u00f3n papel<\/a>.<\/p>\n Muchos idiomas est\u00e1n muy representados en la web como: Ingl\u00e9s, chino, espa\u00f1ol, portugu\u00e9s, franc\u00e9s... El coreano sigue estando muy poco documentado y no hay muchos contenidos listos para su reutilizaci\u00f3n. As\u00ed que pens\u00e9 en contribuir compartiendo mis principales aprendizajes con ustedes, mientras descubr\u00eda la PNL coreana.<\/p>\n En este art\u00edculo le contar\u00e9 mi viaje para entrenar un modelo ling\u00fc\u00edstico coreano sin entender una sola palabra de coreano y c\u00f3mo lo utilic\u00e9 para la clasificaci\u00f3n de textos.<\/p>\n Descargo de responsabilidad:\u00a0<\/strong>Normalmente, consideramos que un modelo ling\u00fc\u00edstico es bueno cuando alcanza una precisi\u00f3n de alrededor de 45-50%. Como mi objetivo no es generar textos en coreano, no necesito alcanzar tales rendimientos: S\u00f3lo necesito un modelo que \u201centienda\u201d la gram\u00e1tica y la estructura de la lengua coreana para poder utilizarlo para entrenar un clasificador de texto coreano.<\/p>\n<\/div><\/div><\/div><\/div><\/div> 1 - Colecci\u00f3n Data para el entrenamiento del modelo ling\u00fc\u00edstico<\/strong><\/span><\/p>\n 1.1 - Fuente Data<\/strong><\/span><\/p>\n Normalmente, cuando se entrena un modelo ling\u00fc\u00edstico desde cero, las sugerencias del tutorial de ULM FiT consisten en descargar todo el contenido de Wikipedia en el idioma en cuesti\u00f3n. Estas directrices s\u00f3lo funcionan si los hablantes nativos de esta lengua est\u00e1n acostumbrados a publicar mucho en este canal.<\/p>\n En coreano, parece que la gente no est\u00e1 acostumbrada: no s\u00f3lo el contexto coreano de Wikipedia no tiene suficiente volumen, sino que tampoco es representativo del habla coreana nativa.<\/p>\n He aqu\u00ed una comparaci\u00f3n entre el n\u00famero de art\u00edculos de la Wikipedia en ingl\u00e9s y en coreano para dar algunas pistas:<\/p>\n Mi consejo: Combin\u00e9 los art\u00edculos de Wikipedia con Common Crawl data que puede descargar de aqu\u00ed<\/a>.<\/p>\n 1,2 - Data volumen<\/strong><\/p>\n Recordemos que un modelo ling\u00fc\u00edstico es un modelo que debe predecir la siguiente palabra de un texto. Para ello, nuestro modelo debe haber visto muchos ejemplos para aprender la lengua y ser bueno habl\u00e1ndola. Dicho esto, no es \u00fatil ir m\u00e1s all\u00e1 de 100 millones de tokens. S\u00f3lo a\u00f1ade complejidad a su modelo, as\u00ed como un enorme tiempo de entrenamiento.<\/p>\n As\u00ed, a primera vista, una vez recuperados todos los documentos de Wikipedia y Common Crawl data, me encontr\u00e9 con mucho m\u00e1s de 100 millones de tokens, por lo que tuve que escoger los documentos m\u00e1s relevantes con los que entrenar mi modelo. El objetivo de mi metodolog\u00eda es quedarme con los documentos que representan de la mejor manera la lengua coreana nativa:<\/p>\n Ahora que tenemos nuestro corpus bruto de formaci\u00f3n, \u00a1podemos empezar a hacer negocios de verdad!<\/p>\n 2 - Tokenizaci\u00f3n Data<\/strong><\/span><\/p>\n Supongo que cuando le dije antes que hab\u00eda tokenizado con una funci\u00f3n de divisi\u00f3n, empez\u00f3 a pensar que este art\u00edculo era realmente una broma, pero vamos a tranquilizarle, \u00a1este nunca fue mi objetivo final!<\/p>\n En primer lugar, recordemos que para entrenar un modelo ling\u00fc\u00edstico no es necesario ning\u00fan otro preprocesamiento data. Muchas tareas de PNL eliminan del texto los n\u00fameros, las palabras vac\u00edas, las min\u00fasculas, la ra\u00edz del texto... Todo ello despojar\u00eda al texto de su contexto y nuestro objetivo es aprender a hablar coreano, por lo que debemos mantener todo el texto tal y como fue escrito originalmente.<\/p>\n Para tokenizar el texto coreano prob\u00e9 dos modelos de tokenizaci\u00f3n:<\/p>\n\n
\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/0maA5NXtXpMp8KerA.png\")
<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/1-Lj8fQGUHUKcgH-CYxd8Uw.png\")
<\/p>\n\n
\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/0IU-CQKAbqWW_heiB.png\")
<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n![](\"https:\/\/www.artefact.com\/wp-content\/uploads\/2020\/06\/Global-Newsletter-Data-Digest_LinkedIn_600x315_april.jpg\" "\\"data-driven\\"")
<\/span><\/div><\/div><\/div>