![\"Image\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/02\/meryam-assermouh.jpg\")
TL;DR<\/h2><\/div>Este artigo apresenta o LLMOps, um ramo especializado que mescla DevOps e MLOps para Gerenciando os desafios apresentados pelos modelos de linguagem de grande porte<\/strong> (LLMs). Os LLMs, como o GPT do OpenAI, usam textos extensos para tarefas como gera\u00e7\u00e3o de texto e tradu\u00e7\u00e3o de idiomas. Os LLMOps lidam com quest\u00f5es como personaliza\u00e7\u00e3o, altera\u00e7\u00f5es de API, desvio de data, avalia\u00e7\u00e3o de modelos e monitoramento<\/strong> por meio de ferramentas como LangSmith, TruLens e W&B Prompts. Ele garante a adaptabilidade, a avalia\u00e7\u00e3o e o monitoramento dos LLMs em cen\u00e1rios do mundo real, oferecendo uma solu\u00e7\u00e3o abrangente para as organiza\u00e7\u00f5es que utilizam esses modelos avan\u00e7ados de linguagem.<\/p>\n<\/div>Para gui\u00e1-lo nessa discuss\u00e3o, come\u00e7aremos revisitando os princ\u00edpios fundamentais de DevOps e MLOps e, em seguida, nos concentraremos no LLMOps, come\u00e7ando com uma breve introdu\u00e7\u00e3o aos LLMs e sua utiliza\u00e7\u00e3o pelas organiza\u00e7\u00f5es. Em seguida, vamos nos aprofundar nos principais desafios operacionais apresentados pela tecnologia de LLM e em como o LLMOps os enfrenta de forma eficaz.<\/p>\n<\/div>
Princ\u00edpios b\u00e1sicos para LLMOps: DevOps e MLOps<\/h2><\/div>DevOps, abrevia\u00e7\u00e3o de Development and Operations (Desenvolvimento e Opera\u00e7\u00f5es), \u00e9 um conjunto de pr\u00e1ticas que visa automatizar o processo de entrega de software, tornando-o mais eficiente, confi\u00e1vel e dimension\u00e1vel. Os princ\u00edpios fundamentais do DevOps incluem: colabora\u00e7\u00e3o, automa\u00e7\u00e3o, teste cont\u00ednuo, monitoramento e orquestra\u00e7\u00e3o da implanta\u00e7\u00e3o.<\/p>\n<\/div>
MLOps, abrevia\u00e7\u00e3o de Machine Learning Operations (Opera\u00e7\u00f5es de aprendizado de m\u00e1quina), \u00e9 uma extens\u00e3o das pr\u00e1ticas de DevOps especificamente adaptadas para o gerenciamento do ciclo de vida dos modelos de aprendizado de m\u00e1quina. Ele aborda os desafios exclusivos apresentados pela natureza iterativa e experimental do desenvolvimento do aprendizado de m\u00e1quina. Introduzindo tarefas adicionais como versionamento e gerenciamento de data, bem como experimenta\u00e7\u00e3o e treinamento de modelos.<\/p>\n<\/div>
LLMOps: Gerenciando a implanta\u00e7\u00e3o e a manuten\u00e7\u00e3o de modelos de idiomas grandes<\/h2><\/div>LLMOps, abrevia\u00e7\u00e3o de Large Language Model Operations (opera\u00e7\u00f5es de modelos de linguagem grandes), \u00e9 um ramo especializado de MLOps projetado especificamente para lidar com os desafios e requisitos exclusivos do gerenciamento de modelos de linguagem grandes (LLMs).<\/p>\n<\/div>
Mas, primeiro, o que s\u00e3o exatamente os LLMs?<\/h2><\/div>Os LLMs s\u00e3o um tipo de modelo de aprendizagem profunda que usa grandes quantidades de texto data para estimar bilh\u00f5es de par\u00e2metros. Esses par\u00e2metros permitem que os LLMs compreendam e gerem textos de qualidade humana, traduzam idiomas, resumam informa\u00e7\u00f5es complexas e executem v\u00e1rias tarefas de processamento de linguagem natural.<\/p>\n<\/div>
Como as organiza\u00e7\u00f5es usam os LLMs<\/h2><\/div>Como o treinamento de LLMs do zero \u00e9 extremamente caro e demorado, as organiza\u00e7\u00f5es optam por modelos b\u00e1sicos pr\u00e9-treinados, como o GPT do OpenAI ou o LaMDA do Google AI, como ponto de partida. Esses modelos, por j\u00e1 terem sido treinados em grandes quantidades de data, possuem amplo conhecimento e podem executar v\u00e1rias tarefas, inclusive gerar texto, traduzir idiomas e escrever diferentes tipos de conte\u00fado criativo. Para personalizar ainda mais o resultado do LLM para tarefas ou dom\u00ednios espec\u00edficos, as organiza\u00e7\u00f5es empregam t\u00e9cnicas como engenharia de prompts, gera\u00e7\u00e3o aumentada por recupera\u00e7\u00e3o (RAG) e ajuste fino. A engenharia de prompts envolve a elabora\u00e7\u00e3o de instru\u00e7\u00f5es claras e concisas que orientam o LLM em dire\u00e7\u00e3o ao resultado desejado, enquanto a RAG fundamenta o modelo em informa\u00e7\u00f5es adicionais de fontes data externas, melhorando seu desempenho e relev\u00e2ncia. O ajuste fino, por outro lado, envolve o ajuste dos par\u00e2metros do LLM usando data adicionais espec\u00edficos para as necessidades da organiza\u00e7\u00e3o. O esquema abaixo fornece uma vis\u00e3o geral do fluxo de trabalho do LLMOps, ilustrando como essas t\u00e9cnicas se integram ao processo geral.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/02\/schema-LLMOps-medium-article.png\" "\\"sch\u00e9ma")
<\/span><\/div>Por que precisamos de LLMOps<\/h2><\/div>Os r\u00e1pidos avan\u00e7os na tecnologia LLM trouxeram \u00e0 tona v\u00e1rios desafios operacionais que exigem abordagens especializadas.<\/p>\n
Alguns desses desafios incluem :<\/p>\n<\/div>
- <\/i><\/span>\n
A necessidade de personaliza\u00e7\u00e3o<\/strong>: Embora os LLMs sejam pr\u00e9-treinados em grandes quantidades de data, a personaliza\u00e7\u00e3o \u00e9 essencial para o desempenho ideal em tarefas espec\u00edficas. Isso levou ao desenvolvimento de novas t\u00e9cnicas de personaliza\u00e7\u00e3o, como engenharia imediata<\/strong>, gera\u00e7\u00e3o aumentada por recupera\u00e7\u00e3o (RAG<\/strong>) e ajuste fino<\/strong>. O RAG ajuda a fundamentar o modelo nas informa\u00e7\u00f5es mais precisas, fornecendo a ele uma base de conhecimento externa, enquanto o ajuste fino \u00e9 mais adequado quando queremos que o modelo execute tarefas espec\u00edficas ou adira a um formato de resposta espec\u00edfico, como JSON ou SQL. A escolha entre RAG e ajuste fino depende do objetivo de aprimorar o conhecimento do modelo ou melhorar seu desempenho em uma tarefa espec\u00edfica.<\/p>\n<\/div><\/li>- <\/i><\/span>\n
Altera\u00e7\u00f5es na API<\/strong>: Diferentemente dos modelos tradicionais de ML, os LLMs geralmente s\u00e3o acessados por meio de APIs de terceiros, que podem ser modificadas ou at\u00e9 mesmo obsoletas, exigindo monitoramento e adapta\u00e7\u00e3o cont\u00ednuos. Por exemplo, Abrir a documenta\u00e7\u00e3o do AI<\/a> menciona explicitamente que seus modelos est\u00e3o sujeitos a atualiza\u00e7\u00f5es regulares, o que pode exigir que os usu\u00e1rios atualizem seu software ou migrem para modelos ou endpoints mais novos.<\/p>\n<\/div><\/li>- <\/i><\/span>\n
Desvio Data<\/strong>, refere-se a uma mudan\u00e7a nas propriedades estat\u00edsticas do data de entrada, que ocorre com frequ\u00eancia na produ\u00e7\u00e3o quando o data encontrado se desvia do data com o qual os LLMs foram treinados. Isso pode levar \u00e0 gera\u00e7\u00e3o de informa\u00e7\u00f5es imprecisas ou desatualizadas. Por exemplo, com o modelo GPT-3.5, suas informa\u00e7\u00f5es foram limitadas at\u00e9 setembro de 2021, antes que o a data-limite foi prorrogada para janeiro de 2022<\/a>. Consequentemente, n\u00e3o foi poss\u00edvel responder a perguntas sobre eventos mais recentes, o que levou \u00e0 frustra\u00e7\u00e3o do usu\u00e1rio.<\/p>\n<\/div><\/li>- <\/i><\/span>\n
Avalia\u00e7\u00e3o do modelo<\/strong>: No aprendizado de m\u00e1quina tradicional, contamos com m\u00e9tricas como acur\u00e1cia, precis\u00e3o e recall para avaliar nossos modelos. No entanto, a avalia\u00e7\u00e3o de LLMs \u00e9 muito mais complexa, especialmente na aus\u00eancia de verdade terrestre data e ao lidar com resultados de linguagem natural em vez de valores num\u00e9ricos.<\/p>\n<\/div><\/li>- <\/i><\/span>\n
Monitoramento<\/strong>: O monitoramento cont\u00ednuo dos LLMs e dos aplicativos baseados em LLMs \u00e9 fundamental. Tamb\u00e9m \u00e9 mais complicado porque envolve v\u00e1rios aspectos que precisam ser considerados para garantir a efic\u00e1cia e a confiabilidade gerais desses modelos de linguagem. Discutiremos esses aspectos em mais detalhes na pr\u00f3xima se\u00e7\u00e3o.<\/p>\n<\/div><\/li><\/ul>Como o LLMOps aborda esses desafios<\/h2><\/div>O LLMOps se baseia nos fundamentos do MLOps e introduz componentes especializados adaptados aos LLMs:<\/p>\n<\/div>
- <\/i><\/span>\n
Engenharia imediata e gerenciamento de ajustes finos<\/strong>: O LLMOps fornece ferramentas como sistemas de controle de vers\u00e3o imediatos<\/strong> para rastrear e gerenciar diferentes vers\u00f5es de prompts. Ele tamb\u00e9m se integra ao estruturas de ajuste fino<\/strong> para automatizar e otimizar o processo de ajuste fino. Um exemplo importante dessas ferramentas \u00e9 o LangSmith, uma estrutura projetada especificamente para gerenciar fluxos de trabalho de LLM. Seus recursos abrangentes incluem controle de vers\u00e3o do prompt<\/a>, permitindo a experimenta\u00e7\u00e3o controlada e a reprodutibilidade. Al\u00e9m disso, o LangSmith facilita ajuste fino<\/a> de LLMs usando runs'data ap\u00f3s eventual filtragem e enriquecimento para melhorar o desempenho do modelo.<\/p>\n<\/div><\/li>- <\/i><\/span>\n
Gerenciamento de mudan\u00e7as de API<\/strong>: O LLMOps estabelece processos para monitoramento<\/strong> Altera\u00e7\u00f5es na API, alertas<\/strong> operadores a poss\u00edveis interrup\u00e7\u00f5es, e ativa\u00e7\u00e3o de revers\u00f5es<\/strong> se necess\u00e1rio.<\/p>\n<\/div><\/li>- <\/i><\/span>\n
Adapta\u00e7\u00e3o do modelo \u00e0s mudan\u00e7as data<\/strong>: O LLMOps facilita a adapta\u00e7\u00e3o dos LLMs aos cen\u00e1rios data em evolu\u00e7\u00e3o, garantindo que os modelos permane\u00e7am relevantes e com bom desempenho \u00e0 medida que os padr\u00f5es data mudam. Isso pode ser alcan\u00e7ado por meio de monitoramento das distribui\u00e7\u00f5es do data e acionamento de processos de adapta\u00e7\u00e3o<\/strong> quando forem detectadas mudan\u00e7as significativas. Esses processos podem incluir:
\n-> Retreinamento ou ajuste fino<\/strong>: Dependendo da extens\u00e3o do desvio do data e dos recursos dispon\u00edveis, o retreinamento ou o ajuste fino podem ser empregados para atenuar seu impacto.
\n-> Adapta\u00e7\u00e3o do dom\u00ednio<\/strong>: Ajuste fino do LLM em um dataset do dom\u00ednio de destino.
\n-> Destila\u00e7\u00e3o do conhecimento<\/strong>: Treinamento de um modelo menor, aproveitando o conhecimento e a experi\u00eancia de um modelo maior, mais avan\u00e7ado e atualizado.<\/p>\n<\/div><\/li>- <\/i><\/span>\n
Avalia\u00e7\u00e3o espec\u00edfica do LLM<\/strong>: O LLMOps emprega novas ferramentas de avalia\u00e7\u00e3o adaptadas aos LLMs. Essas ferramentas incluem:
\n-> M\u00e9tricas baseadas em texto<\/strong>, O modelo de texto \u00e9 um modelo de an\u00e1lise de texto, como a perplexidade, uma medida estat\u00edstica de qu\u00e3o bem o modelo \u00e9 capaz de prever a pr\u00f3xima palavra em uma sequ\u00eancia. Assim como as m\u00e9tricas BLEU e ROUGE, que comparam o texto gerado por m\u00e1quina a um ou mais textos de refer\u00eancia gerados por humanos. Elas s\u00e3o comumente usadas para tarefas de tradu\u00e7\u00e3o e resumo.
\n-> An\u00e1lise de embeddings<\/strong> (representa\u00e7\u00f5es vetoriais de palavras ou frases), para avaliar a capacidade do modelo de entender palavras espec\u00edficas do contexto e capturar semelhan\u00e7as sem\u00e2nticas. As t\u00e9cnicas de visualiza\u00e7\u00e3o e agrupamento tamb\u00e9m podem nos ajudar na detec\u00e7\u00e3o de vi\u00e9s.
\n-> LLMs avaliadores<\/strong>: Usar outros LLMs para avaliar nosso modelo. Por exemplo, isso pode ser feito atribuindo uma pontua\u00e7\u00e3o \u00e0 sa\u00edda do modelo avaliado com base em m\u00e9tricas predefinidas, como flu\u00eancia, coer\u00eancia, relev\u00e2ncia e precis\u00e3o factual.
\n-> Integra\u00e7\u00e3o de feedback humano<\/strong>: O LLMOps incorpora mecanismos para coletar e incorporar o feedback humano no ciclo de vida do ML, melhorando o desempenho do LLM e abordando vieses.
\nTruLens<\/a> \u00e9 uma ferramenta que permite a integra\u00e7\u00e3o dessas avalia\u00e7\u00f5es aos aplicativos do LLM por meio de uma abordagem program\u00e1tica conhecida como Feedback Functions.<\/p>\n<\/div><\/li>- <\/i><\/span>\n
Monitoramento espec\u00edfico do LLM<\/strong>: O LLMOps integra o monitoramento cont\u00ednuo para rastrear as m\u00e9tricas de desempenho do LLM, identificar poss\u00edveis problemas e detectar desvios ou tend\u00eancias de conceito. Isso inclui:
\n-> Monitoramento funcional<\/strong>; O senhor pode obter informa\u00e7\u00f5es sobre o n\u00famero de solicita\u00e7\u00f5es, o tempo de resposta, o uso de tokens, as taxas de erro e o custo.
\n-> Monitoramento imediato<\/strong>; para garantir a legibilidade e detectar toxicidade e outras formas de abuso. Prompts de W&B<\/a> \u00e9 um conjunto de ferramentas criadas para monitorar aplicativos baseados em LLM. Ele pode ser usado para analisar as entradas e sa\u00eddas de seus LLMs, visualizar os resultados intermedi\u00e1rios e armazenar e gerenciar com seguran\u00e7a seus prompts.
\n-> Monitoramento de respostas<\/strong>; O senhor deve ter em mente que o modelo deve ser usado para garantir a relev\u00e2ncia e a consist\u00eancia do modelo. Isso inclui evitar a gera\u00e7\u00e3o de conte\u00fado alucinat\u00f3rio ou fict\u00edcio, bem como garantir a exclus\u00e3o de material nocivo ou inadequado. A transpar\u00eancia pode nos ajudar a entender melhor a resposta do modelo. Ela pode ser estabelecida revelando as fontes de resposta (no RAG) ou solicitando que o modelo justifique seu racioc\u00ednio (cadeia de pensamento).<\/p>\n<\/div><\/li><\/ul>Esse monitoramento data pode ser utilizado para aumentar a efici\u00eancia operacional. Podemos melhorar o gerenciamento de custos implementando alertas sobre o uso de tokens e empregando estrat\u00e9gias como o armazenamento em cache de respostas anteriores. Isso nos permite reutiliz\u00e1-las para consultas semelhantes sem invocar o LLM novamente. Al\u00e9m disso, podemos minimizar a lat\u00eancia optando por modelos menores sempre que poss\u00edvel e restringindo o n\u00famero de tokens gerados.<\/p>\n<\/div>
Conclus\u00e3o<\/h2><\/div>Neste artigo, exploramos o surgimento do LLMOps, um descendente do DevOps e do MLOps, projetado especificamente para lidar com os desafios operacionais impostos por grandes modelos de linguagem. Vamos concluir com uma compara\u00e7\u00e3o visual dessas tr\u00eas metodologias, ilustrando seu escopo no contexto das empresas usu\u00e1rias de LLM, que aproveitam esses modelos para criar produtos e resolver problemas de neg\u00f3cios.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/02\/schema-2-LLMOps-medium-article.png\" "\\"sch\u00e9ma")
<\/span><\/div>Embora as tr\u00eas metodologias compartilhem pr\u00e1ticas comuns, como CI\/CD, controle de vers\u00e3o e avalia\u00e7\u00e3o, cada uma delas tem \u00e1reas de foco distintas. O DevOps abrange todo o ciclo de vida do desenvolvimento de software, desde o desenvolvimento at\u00e9 a implanta\u00e7\u00e3o e a manuten\u00e7\u00e3o. O MLOps amplia o DevOps para abordar os desafios espec\u00edficos dos modelos de aprendizado de m\u00e1quina, incluindo a automatiza\u00e7\u00e3o do treinamento, da implanta\u00e7\u00e3o e do monitoramento do modelo. O LLMOps, a mais recente itera\u00e7\u00e3o dessas metodologias, concentra-se especificamente nos LLMs. Embora as empresas usu\u00e1rias de LLM n\u00e3o precisem desenvolver seus pr\u00f3prios modelos, elas ainda enfrentam desafios operacionais, incluindo o gerenciamento de altera\u00e7\u00f5es de API e a personaliza\u00e7\u00e3o de modelos por meio de t\u00e9cnicas como engenharia imediata e ajuste fino.<\/p>\n<\/div><\/div><\/div><\/div><\/article>
Este artigo apresenta o LLMOps, um ramo especializado que mescla DevOps e MLOps para Gerenciando os desafios apresentados pelos modelos de linguagem de grande porte<\/strong> (LLMs). Os LLMs, como o GPT do OpenAI, usam textos extensos para tarefas como gera\u00e7\u00e3o de texto e tradu\u00e7\u00e3o de idiomas. Os LLMOps lidam com quest\u00f5es como personaliza\u00e7\u00e3o, altera\u00e7\u00f5es de API, desvio de data, avalia\u00e7\u00e3o de modelos e monitoramento<\/strong> por meio de ferramentas como LangSmith, TruLens e W&B Prompts. Ele garante a adaptabilidade, a avalia\u00e7\u00e3o e o monitoramento dos LLMs em cen\u00e1rios do mundo real, oferecendo uma solu\u00e7\u00e3o abrangente para as organiza\u00e7\u00f5es que utilizam esses modelos avan\u00e7ados de linguagem.<\/p>\n<\/div> Para gui\u00e1-lo nessa discuss\u00e3o, come\u00e7aremos revisitando os princ\u00edpios fundamentais de DevOps e MLOps e, em seguida, nos concentraremos no LLMOps, come\u00e7ando com uma breve introdu\u00e7\u00e3o aos LLMs e sua utiliza\u00e7\u00e3o pelas organiza\u00e7\u00f5es. Em seguida, vamos nos aprofundar nos principais desafios operacionais apresentados pela tecnologia de LLM e em como o LLMOps os enfrenta de forma eficaz.<\/p>\n<\/div> DevOps, abrevia\u00e7\u00e3o de Development and Operations (Desenvolvimento e Opera\u00e7\u00f5es), \u00e9 um conjunto de pr\u00e1ticas que visa automatizar o processo de entrega de software, tornando-o mais eficiente, confi\u00e1vel e dimension\u00e1vel. Os princ\u00edpios fundamentais do DevOps incluem: colabora\u00e7\u00e3o, automa\u00e7\u00e3o, teste cont\u00ednuo, monitoramento e orquestra\u00e7\u00e3o da implanta\u00e7\u00e3o.<\/p>\n<\/div> MLOps, abrevia\u00e7\u00e3o de Machine Learning Operations (Opera\u00e7\u00f5es de aprendizado de m\u00e1quina), \u00e9 uma extens\u00e3o das pr\u00e1ticas de DevOps especificamente adaptadas para o gerenciamento do ciclo de vida dos modelos de aprendizado de m\u00e1quina. Ele aborda os desafios exclusivos apresentados pela natureza iterativa e experimental do desenvolvimento do aprendizado de m\u00e1quina. Introduzindo tarefas adicionais como versionamento e gerenciamento de data, bem como experimenta\u00e7\u00e3o e treinamento de modelos.<\/p>\n<\/div> LLMOps, abrevia\u00e7\u00e3o de Large Language Model Operations (opera\u00e7\u00f5es de modelos de linguagem grandes), \u00e9 um ramo especializado de MLOps projetado especificamente para lidar com os desafios e requisitos exclusivos do gerenciamento de modelos de linguagem grandes (LLMs).<\/p>\n<\/div> Os LLMs s\u00e3o um tipo de modelo de aprendizagem profunda que usa grandes quantidades de texto data para estimar bilh\u00f5es de par\u00e2metros. Esses par\u00e2metros permitem que os LLMs compreendam e gerem textos de qualidade humana, traduzam idiomas, resumam informa\u00e7\u00f5es complexas e executem v\u00e1rias tarefas de processamento de linguagem natural.<\/p>\n<\/div> Como o treinamento de LLMs do zero \u00e9 extremamente caro e demorado, as organiza\u00e7\u00f5es optam por modelos b\u00e1sicos pr\u00e9-treinados, como o GPT do OpenAI ou o LaMDA do Google AI, como ponto de partida. Esses modelos, por j\u00e1 terem sido treinados em grandes quantidades de data, possuem amplo conhecimento e podem executar v\u00e1rias tarefas, inclusive gerar texto, traduzir idiomas e escrever diferentes tipos de conte\u00fado criativo. Para personalizar ainda mais o resultado do LLM para tarefas ou dom\u00ednios espec\u00edficos, as organiza\u00e7\u00f5es empregam t\u00e9cnicas como engenharia de prompts, gera\u00e7\u00e3o aumentada por recupera\u00e7\u00e3o (RAG) e ajuste fino. A engenharia de prompts envolve a elabora\u00e7\u00e3o de instru\u00e7\u00f5es claras e concisas que orientam o LLM em dire\u00e7\u00e3o ao resultado desejado, enquanto a RAG fundamenta o modelo em informa\u00e7\u00f5es adicionais de fontes data externas, melhorando seu desempenho e relev\u00e2ncia. O ajuste fino, por outro lado, envolve o ajuste dos par\u00e2metros do LLM usando data adicionais espec\u00edficos para as necessidades da organiza\u00e7\u00e3o. O esquema abaixo fornece uma vis\u00e3o geral do fluxo de trabalho do LLMOps, ilustrando como essas t\u00e9cnicas se integram ao processo geral.<\/p>\n<\/div> Os r\u00e1pidos avan\u00e7os na tecnologia LLM trouxeram \u00e0 tona v\u00e1rios desafios operacionais que exigem abordagens especializadas.<\/p>\n Alguns desses desafios incluem :<\/p>\n<\/div> A necessidade de personaliza\u00e7\u00e3o<\/strong>: Embora os LLMs sejam pr\u00e9-treinados em grandes quantidades de data, a personaliza\u00e7\u00e3o \u00e9 essencial para o desempenho ideal em tarefas espec\u00edficas. Isso levou ao desenvolvimento de novas t\u00e9cnicas de personaliza\u00e7\u00e3o, como engenharia imediata<\/strong>, gera\u00e7\u00e3o aumentada por recupera\u00e7\u00e3o (RAG<\/strong>) e ajuste fino<\/strong>. O RAG ajuda a fundamentar o modelo nas informa\u00e7\u00f5es mais precisas, fornecendo a ele uma base de conhecimento externa, enquanto o ajuste fino \u00e9 mais adequado quando queremos que o modelo execute tarefas espec\u00edficas ou adira a um formato de resposta espec\u00edfico, como JSON ou SQL. A escolha entre RAG e ajuste fino depende do objetivo de aprimorar o conhecimento do modelo ou melhorar seu desempenho em uma tarefa espec\u00edfica.<\/p>\n<\/div><\/li> Altera\u00e7\u00f5es na API<\/strong>: Diferentemente dos modelos tradicionais de ML, os LLMs geralmente s\u00e3o acessados por meio de APIs de terceiros, que podem ser modificadas ou at\u00e9 mesmo obsoletas, exigindo monitoramento e adapta\u00e7\u00e3o cont\u00ednuos. Por exemplo, Abrir a documenta\u00e7\u00e3o do AI<\/a> menciona explicitamente que seus modelos est\u00e3o sujeitos a atualiza\u00e7\u00f5es regulares, o que pode exigir que os usu\u00e1rios atualizem seu software ou migrem para modelos ou endpoints mais novos.<\/p>\n<\/div><\/li> Desvio Data<\/strong>, refere-se a uma mudan\u00e7a nas propriedades estat\u00edsticas do data de entrada, que ocorre com frequ\u00eancia na produ\u00e7\u00e3o quando o data encontrado se desvia do data com o qual os LLMs foram treinados. Isso pode levar \u00e0 gera\u00e7\u00e3o de informa\u00e7\u00f5es imprecisas ou desatualizadas. Por exemplo, com o modelo GPT-3.5, suas informa\u00e7\u00f5es foram limitadas at\u00e9 setembro de 2021, antes que o a data-limite foi prorrogada para janeiro de 2022<\/a>. Consequentemente, n\u00e3o foi poss\u00edvel responder a perguntas sobre eventos mais recentes, o que levou \u00e0 frustra\u00e7\u00e3o do usu\u00e1rio.<\/p>\n<\/div><\/li> Avalia\u00e7\u00e3o do modelo<\/strong>: No aprendizado de m\u00e1quina tradicional, contamos com m\u00e9tricas como acur\u00e1cia, precis\u00e3o e recall para avaliar nossos modelos. No entanto, a avalia\u00e7\u00e3o de LLMs \u00e9 muito mais complexa, especialmente na aus\u00eancia de verdade terrestre data e ao lidar com resultados de linguagem natural em vez de valores num\u00e9ricos.<\/p>\n<\/div><\/li> Monitoramento<\/strong>: O monitoramento cont\u00ednuo dos LLMs e dos aplicativos baseados em LLMs \u00e9 fundamental. Tamb\u00e9m \u00e9 mais complicado porque envolve v\u00e1rios aspectos que precisam ser considerados para garantir a efic\u00e1cia e a confiabilidade gerais desses modelos de linguagem. Discutiremos esses aspectos em mais detalhes na pr\u00f3xima se\u00e7\u00e3o.<\/p>\n<\/div><\/li><\/ul> O LLMOps se baseia nos fundamentos do MLOps e introduz componentes especializados adaptados aos LLMs:<\/p>\n<\/div> Engenharia imediata e gerenciamento de ajustes finos<\/strong>: O LLMOps fornece ferramentas como sistemas de controle de vers\u00e3o imediatos<\/strong> para rastrear e gerenciar diferentes vers\u00f5es de prompts. Ele tamb\u00e9m se integra ao estruturas de ajuste fino<\/strong> para automatizar e otimizar o processo de ajuste fino. Um exemplo importante dessas ferramentas \u00e9 o LangSmith, uma estrutura projetada especificamente para gerenciar fluxos de trabalho de LLM. Seus recursos abrangentes incluem controle de vers\u00e3o do prompt<\/a>, permitindo a experimenta\u00e7\u00e3o controlada e a reprodutibilidade. Al\u00e9m disso, o LangSmith facilita ajuste fino<\/a> de LLMs usando runs'data ap\u00f3s eventual filtragem e enriquecimento para melhorar o desempenho do modelo.<\/p>\n<\/div><\/li> Gerenciamento de mudan\u00e7as de API<\/strong>: O LLMOps estabelece processos para monitoramento<\/strong> Altera\u00e7\u00f5es na API, alertas<\/strong> operadores a poss\u00edveis interrup\u00e7\u00f5es, e ativa\u00e7\u00e3o de revers\u00f5es<\/strong> se necess\u00e1rio.<\/p>\n<\/div><\/li> Adapta\u00e7\u00e3o do modelo \u00e0s mudan\u00e7as data<\/strong>: O LLMOps facilita a adapta\u00e7\u00e3o dos LLMs aos cen\u00e1rios data em evolu\u00e7\u00e3o, garantindo que os modelos permane\u00e7am relevantes e com bom desempenho \u00e0 medida que os padr\u00f5es data mudam. Isso pode ser alcan\u00e7ado por meio de monitoramento das distribui\u00e7\u00f5es do data e acionamento de processos de adapta\u00e7\u00e3o<\/strong> quando forem detectadas mudan\u00e7as significativas. Esses processos podem incluir: Avalia\u00e7\u00e3o espec\u00edfica do LLM<\/strong>: O LLMOps emprega novas ferramentas de avalia\u00e7\u00e3o adaptadas aos LLMs. Essas ferramentas incluem: Monitoramento espec\u00edfico do LLM<\/strong>: O LLMOps integra o monitoramento cont\u00ednuo para rastrear as m\u00e9tricas de desempenho do LLM, identificar poss\u00edveis problemas e detectar desvios ou tend\u00eancias de conceito. Isso inclui: Esse monitoramento data pode ser utilizado para aumentar a efici\u00eancia operacional. Podemos melhorar o gerenciamento de custos implementando alertas sobre o uso de tokens e empregando estrat\u00e9gias como o armazenamento em cache de respostas anteriores. Isso nos permite reutiliz\u00e1-las para consultas semelhantes sem invocar o LLM novamente. Al\u00e9m disso, podemos minimizar a lat\u00eancia optando por modelos menores sempre que poss\u00edvel e restringindo o n\u00famero de tokens gerados.<\/p>\n<\/div> Neste artigo, exploramos o surgimento do LLMOps, um descendente do DevOps e do MLOps, projetado especificamente para lidar com os desafios operacionais impostos por grandes modelos de linguagem. Vamos concluir com uma compara\u00e7\u00e3o visual dessas tr\u00eas metodologias, ilustrando seu escopo no contexto das empresas usu\u00e1rias de LLM, que aproveitam esses modelos para criar produtos e resolver problemas de neg\u00f3cios.<\/p>\n<\/div> Embora as tr\u00eas metodologias compartilhem pr\u00e1ticas comuns, como CI\/CD, controle de vers\u00e3o e avalia\u00e7\u00e3o, cada uma delas tem \u00e1reas de foco distintas. O DevOps abrange todo o ciclo de vida do desenvolvimento de software, desde o desenvolvimento at\u00e9 a implanta\u00e7\u00e3o e a manuten\u00e7\u00e3o. O MLOps amplia o DevOps para abordar os desafios espec\u00edficos dos modelos de aprendizado de m\u00e1quina, incluindo a automatiza\u00e7\u00e3o do treinamento, da implanta\u00e7\u00e3o e do monitoramento do modelo. O LLMOps, a mais recente itera\u00e7\u00e3o dessas metodologias, concentra-se especificamente nos LLMs. Embora as empresas usu\u00e1rias de LLM n\u00e3o precisem desenvolver seus pr\u00f3prios modelos, elas ainda enfrentam desafios operacionais, incluindo o gerenciamento de altera\u00e7\u00f5es de API e a personaliza\u00e7\u00e3o de modelos por meio de t\u00e9cnicas como engenharia imediata e ajuste fino.<\/p>\n<\/div><\/div><\/div><\/div><\/article>Princ\u00edpios b\u00e1sicos para LLMOps: DevOps e MLOps<\/h2><\/div>
LLMOps: Gerenciando a implanta\u00e7\u00e3o e a manuten\u00e7\u00e3o de modelos de idiomas grandes<\/h2><\/div>
Mas, primeiro, o que s\u00e3o exatamente os LLMs?<\/h2><\/div>
Como as organiza\u00e7\u00f5es usam os LLMs<\/h2><\/div>
<\/span><\/div>Por que precisamos de LLMOps<\/h2><\/div>
Como o LLMOps aborda esses desafios<\/h2><\/div>
\n-> Retreinamento ou ajuste fino<\/strong>: Dependendo da extens\u00e3o do desvio do data e dos recursos dispon\u00edveis, o retreinamento ou o ajuste fino podem ser empregados para atenuar seu impacto.
\n-> Adapta\u00e7\u00e3o do dom\u00ednio<\/strong>: Ajuste fino do LLM em um dataset do dom\u00ednio de destino.
\n-> Destila\u00e7\u00e3o do conhecimento<\/strong>: Treinamento de um modelo menor, aproveitando o conhecimento e a experi\u00eancia de um modelo maior, mais avan\u00e7ado e atualizado.<\/p>\n<\/div><\/li>
\n-> M\u00e9tricas baseadas em texto<\/strong>, O modelo de texto \u00e9 um modelo de an\u00e1lise de texto, como a perplexidade, uma medida estat\u00edstica de qu\u00e3o bem o modelo \u00e9 capaz de prever a pr\u00f3xima palavra em uma sequ\u00eancia. Assim como as m\u00e9tricas BLEU e ROUGE, que comparam o texto gerado por m\u00e1quina a um ou mais textos de refer\u00eancia gerados por humanos. Elas s\u00e3o comumente usadas para tarefas de tradu\u00e7\u00e3o e resumo.
\n-> An\u00e1lise de embeddings<\/strong> (representa\u00e7\u00f5es vetoriais de palavras ou frases), para avaliar a capacidade do modelo de entender palavras espec\u00edficas do contexto e capturar semelhan\u00e7as sem\u00e2nticas. As t\u00e9cnicas de visualiza\u00e7\u00e3o e agrupamento tamb\u00e9m podem nos ajudar na detec\u00e7\u00e3o de vi\u00e9s.
\n-> LLMs avaliadores<\/strong>: Usar outros LLMs para avaliar nosso modelo. Por exemplo, isso pode ser feito atribuindo uma pontua\u00e7\u00e3o \u00e0 sa\u00edda do modelo avaliado com base em m\u00e9tricas predefinidas, como flu\u00eancia, coer\u00eancia, relev\u00e2ncia e precis\u00e3o factual.
\n-> Integra\u00e7\u00e3o de feedback humano<\/strong>: O LLMOps incorpora mecanismos para coletar e incorporar o feedback humano no ciclo de vida do ML, melhorando o desempenho do LLM e abordando vieses.
\nTruLens<\/a> \u00e9 uma ferramenta que permite a integra\u00e7\u00e3o dessas avalia\u00e7\u00f5es aos aplicativos do LLM por meio de uma abordagem program\u00e1tica conhecida como Feedback Functions.<\/p>\n<\/div><\/li>
\n-> Monitoramento funcional<\/strong>; O senhor pode obter informa\u00e7\u00f5es sobre o n\u00famero de solicita\u00e7\u00f5es, o tempo de resposta, o uso de tokens, as taxas de erro e o custo.
\n-> Monitoramento imediato<\/strong>; para garantir a legibilidade e detectar toxicidade e outras formas de abuso. Prompts de W&B<\/a> \u00e9 um conjunto de ferramentas criadas para monitorar aplicativos baseados em LLM. Ele pode ser usado para analisar as entradas e sa\u00eddas de seus LLMs, visualizar os resultados intermedi\u00e1rios e armazenar e gerenciar com seguran\u00e7a seus prompts.
\n-> Monitoramento de respostas<\/strong>; O senhor deve ter em mente que o modelo deve ser usado para garantir a relev\u00e2ncia e a consist\u00eancia do modelo. Isso inclui evitar a gera\u00e7\u00e3o de conte\u00fado alucinat\u00f3rio ou fict\u00edcio, bem como garantir a exclus\u00e3o de material nocivo ou inadequado. A transpar\u00eancia pode nos ajudar a entender melhor a resposta do modelo. Ela pode ser estabelecida revelando as fontes de resposta (no RAG) ou solicitando que o modelo justifique seu racioc\u00ednio (cadeia de pensamento).<\/p>\n<\/div><\/li><\/ul>Conclus\u00e3o<\/h2><\/div>
<\/span><\/div>
![](\"https:\/\/artefact.com\/\/wp-content\/uploads\/2021\/03\/medium.png\" "\\"m\u00e9dio\\"")
<\/span><\/div>