![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/04\/Medium-Blog.png\" "\\"M\u00e9dio")
<\/span><\/div><\/div><\/div>NOT\u00cdCIAS \/ TECNOLOGIA AI<\/p>\n<\/div>
25 de novembro de 2020
\nNeste artigo, Amale El Hamri, Cientista S\u00eanior do Data na Artefact Fran\u00e7a, explica como treinar um modelo de linguagem sem que o pr\u00f3prio usu\u00e1rio tenha conhecimento da linguagem. O artigo inclui dicas sobre onde obter o data de treinamento, quanto data o senhor precisa, como pr\u00e9-processar o data e como encontrar uma arquitetura e um conjunto de hiperpar\u00e2metros que melhor se adaptem ao seu modelo.<\/p>\n<\/div><\/div><\/div><\/div><\/div>
TLDR<\/span><\/strong><\/p>\n Este artigo explica como criei meu pr\u00f3prio modelo de linguagem em coreano, um idioma complexo com treinamento limitado data. Aqui o senhor poder\u00e1 aprender como treinar um modelo de idioma sem ter o luxo de entender esse idioma. O senhor encontrar\u00e1 dicas sobre onde obter o data de treinamento, a quantidade de data necess\u00e1ria, como pr\u00e9-processar o data e como encontrar uma arquitetura e um conjunto de hiperpar\u00e2metros que melhor se adaptem ao seu modelo.<\/p>\n Meus principais aprendizados s\u00e3o:<\/em><\/p>\n Cole\u00e7\u00e3o Data:<\/p>\n Volume Data:<\/p>\n Introdu\u00e7\u00e3o<\/span><\/strong><\/p>\n Se o senhor ainda n\u00e3o sabe, a PNL teve uma grande onda de aprendizagem por transfer\u00eancia nos \u00faltimos dois anos. A ideia principal \u00e9 reutilizar modelos de linguagem pr\u00e9-treinados para outra tarefa de PLN, como a classifica\u00e7\u00e3o de texto. Um modelo de linguagem \u00e9 um modelo de aprendizagem profunda que, dada parte de uma frase, \u00e9 capaz de prever a pr\u00f3xima palavra da frase. A intui\u00e7\u00e3o para entender isso \u00e9 que esse tipo de modelo compreende muito bem a estrutura do idioma, a gram\u00e1tica, o vocabul\u00e1rio, e o objetivo \u00e9 \u2018transferir\u2019 esse conhecimento para outros modelos downstream.<\/p>\n Exemplo: uma receita simples sobre como melhorar um classificador de texto usando o ajuste fino<\/em><\/p>\n Esta figura resume o m\u00e9todo ULM Fit que usei para treinar meu modelo de linguagem e, portanto, ajust\u00e1-lo e transferi-lo para um classificador de texto.<\/p>\n J\u00e1 sabemos que a classifica\u00e7\u00e3o de texto funciona muito bem em ingl\u00eas, franc\u00eas, alem\u00e3o, espanhol, chin\u00eas... mas o que devemos fazer em idiomas com poucos modelos de linguagem prontos para uso?<\/p>\n Antes de entrar em mais detalhes, o senhor deve estar se perguntando por que um cientista franc\u00eas data como eu gostaria de ter um classificador de texto em coreano? O motivo \u00e9 que fa\u00e7o parte de um projeto que desenvolve um produto para classificar publica\u00e7\u00f5es de m\u00eddia social em diferentes categorias. Depois de validar a metodologia em ingl\u00eas e franc\u00eas, come\u00e7amos a ampli\u00e1-la para outros idiomas (ingl\u00eas, franc\u00eas, japon\u00eas, chin\u00eas e coreano).<\/p>\n S\u00f3 que havia um desafio maior no idioma coreano, porque n\u00e3o havia nenhum modelo de idioma pr\u00e9-treinado para ser encontrado em c\u00f3digo aberto, ent\u00e3o tive que fazer isso sozinho com pouqu\u00edssimos recursos lingu\u00edsticos coreanos.<\/p>\n Este artigo se concentrar\u00e1 na classifica\u00e7\u00e3o de textos coreanos usando o m\u00e9todo multi-fit explicado a seguir papel<\/a>.<\/p>\n Muitos idiomas est\u00e3o bem representados na Web, como ingl\u00eas, chin\u00eas, espanhol, portugu\u00eas, franc\u00eas: Ingl\u00eas, chin\u00eas, espanhol, portugu\u00eas, franc\u00eas... O idioma coreano ainda \u00e9 muito pouco documentado e n\u00e3o h\u00e1 muito conte\u00fado pronto para ser reutilizado. Por isso, pensei em contribuir compartilhando meus principais aprendizados com os senhores, enquanto descobria a PNL coreana.<\/p>\n Neste artigo, contarei aos senhores sobre minha jornada para treinar um modelo de idioma coreano sem entender uma \u00fanica palavra de coreano e como o usei para classifica\u00e7\u00e3o de texto.<\/p>\n Isen\u00e7\u00e3o de responsabilidade:\u00a0<\/strong>Normalmente, consideramos que um modelo de linguagem \u00e9 bom quando atinge uma precis\u00e3o de cerca de 45-50%. Como meu objetivo n\u00e3o \u00e9 gerar texto em coreano, n\u00e3o preciso atingir esse desempenho: S\u00f3 preciso de um modelo que \u201centenda\u201d a gram\u00e1tica e a estrutura do idioma coreano para que eu possa us\u00e1-lo para treinar um classificador de texto coreano.<\/p>\n<\/div><\/div><\/div><\/div><\/div> 1 - Cole\u00e7\u00e3o Data para treinamento do modelo de linguagem<\/strong><\/span><\/p>\n 1.1 - Fonte Data<\/strong><\/span><\/p>\n Normalmente, ao treinar um modelo de idioma do zero, as sugest\u00f5es do tutorial do ULM FiT s\u00e3o baixar todo o conte\u00fado da Wikip\u00e9dia no idioma em quest\u00e3o. Essas diretrizes s\u00f3 funcionam se os falantes nativos desse idioma estiverem acostumados a publicar muito nesse canal.<\/p>\n Em coreano, parece que as pessoas n\u00e3o est\u00e3o acostumadas a isso: n\u00e3o s\u00f3 o contexto coreano da Wikip\u00e9dia n\u00e3o tem volume suficiente, como tamb\u00e9m n\u00e3o \u00e9 representativo da fala coreana nativa.<\/p>\n Aqui est\u00e1 uma compara\u00e7\u00e3o entre o n\u00famero de artigos na Wikip\u00e9dia em ingl\u00eas e na coreana para dar algumas dicas:<\/p>\n Meu conselho: Combinei artigos da Wikip\u00e9dia com o Common Crawl data, que o senhor pode baixar em aqui<\/a>.<\/p>\n 1.2 - Volume do Data<\/strong><\/p>\n Lembremos que um modelo de linguagem \u00e9 um modelo que deve prever a pr\u00f3xima palavra em um texto. Para fazer isso, nosso modelo deve ter visto muitos exemplos para aprender o idioma e ser bom em falar. Dito isso, n\u00e3o \u00e9 \u00fatil ir al\u00e9m de 100 milh\u00f5es de tokens. Isso s\u00f3 aumenta a complexidade do seu modelo, al\u00e9m de aumentar o tempo de treinamento.<\/p>\n Assim, \u00e0 primeira vista, depois de recuperar toda a Wikip\u00e9dia e o Common Crawl data, eu me deparei com muito mais de 100 milh\u00f5es de tokens, de modo que tive de escolher os documentos mais relevantes para treinar meu modelo. O objetivo da minha metodologia \u00e9 manter os documentos que representam da melhor forma o idioma coreano nativo:<\/p>\n Agora que temos nosso corpo bruto de treinamento, podemos come\u00e7ar a fazer neg\u00f3cios de verdade!<\/p>\n 2 - tokeniza\u00e7\u00e3o Data<\/strong><\/span><\/p>\n Acho que quando eu lhe disse antes que tokenizei com uma fun\u00e7\u00e3o de divis\u00e3o, o senhor come\u00e7ou a pensar que este artigo era realmente uma piada, mas vamos tranquiliz\u00e1-lo, esse nunca foi o meu objetivo final!<\/p>\n Primeiro, vamos lembr\u00e1-lo de que nenhum outro pr\u00e9-processamento do data \u00e9 necess\u00e1rio para treinar um modelo de linguagem. Muitas tarefas de NLP executam a remo\u00e7\u00e3o de n\u00fameros, stopwords, letras min\u00fasculas, stemming... Tudo isso tiraria o texto de seu contexto e nosso objetivo \u00e9 aprender a falar coreano, portanto, devemos manter todo o texto como foi originalmente escrito.<\/p>\n Para tokenizar o texto coreano, experimentei dois modelos de tokeniza\u00e7\u00e3o:<\/p>\n\n
\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/0maA5NXtXpMp8KerA.png\")
<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/1-Lj8fQGUHUKcgH-CYxd8Uw.png\")
<\/p>\n\n
\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/0IU-CQKAbqWW_heiB.png\")
<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n![](\"https:\/\/www.artefact.com\/wp-content\/uploads\/2020\/06\/Global-Newsletter-Data-Digest_LinkedIn_600x315_april.jpg\" "\\"data-driven\\"")
<\/span><\/div><\/div><\/div>