![\"Image\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/02\/meryam-assermouh.jpg\")
TL;DR<\/h2><\/div>Este art\u00edculo presenta LLMOps, una rama especializada que fusiona DevOps y MLOps para gestionar los retos que plantean los grandes modelos ling\u00fc\u00edsticos<\/strong> (LLMs). Los LLM, como el GPT de OpenAI, utilizan textos extensos data para tareas como la generaci\u00f3n de textos y la traducci\u00f3n de idiomas. Los LLMO abordan cuestiones como personalizaci\u00f3n, cambios de API, deriva data, evaluaci\u00f3n de modelos y supervisi\u00f3n<\/strong> a trav\u00e9s de herramientas como LangSmith, TruLens y W&B Prompts. Garantiza la adaptabilidad, la evaluaci\u00f3n y la supervisi\u00f3n de los LLM en escenarios reales, ofreciendo una soluci\u00f3n integral para las organizaciones que aprovechan estos modelos ling\u00fc\u00edsticos avanzados.<\/p>\n<\/div>Para guiarle a trav\u00e9s de este debate, comenzaremos revisando los principios fundacionales de DevOps y MLOps, y despu\u00e9s nos centraremos en LLMOps, comenzando con una breve introducci\u00f3n a los LLM y su utilizaci\u00f3n por parte de las organizaciones. A continuaci\u00f3n, profundizaremos en los principales retos operativos que plantea la tecnolog\u00eda LLM y en c\u00f3mo los LLMOps los abordan de forma eficaz.<\/p>\n<\/div>
Principios fundamentales para LLMOps : DevOps y MLOps<\/h2><\/div>DevOps, abreviatura de Desarrollo y Operaciones, es un conjunto de pr\u00e1cticas cuyo objetivo es automatizar el proceso de entrega de software, haci\u00e9ndolo m\u00e1s eficiente, fiable y escalable. Los principios b\u00e1sicos de DevOps incluyen: colaboraci\u00f3n, automatizaci\u00f3n, pruebas continuas, supervisi\u00f3n y orquestaci\u00f3n del despliegue.<\/p>\n<\/div>
MLOps, abreviatura de Machine Learning Operations (operaciones de aprendizaje autom\u00e1tico), es una extensi\u00f3n de las pr\u00e1cticas DevOps adaptada espec\u00edficamente a la gesti\u00f3n del ciclo de vida de los modelos de aprendizaje autom\u00e1tico. Aborda los retos \u00fanicos que plantea la naturaleza iterativa y experimental del desarrollo del aprendizaje autom\u00e1tico. Introduce tareas adicionales como el versionado y la gesti\u00f3n de data, as\u00ed como la experimentaci\u00f3n y el entrenamiento de modelos.<\/p>\n<\/div>
LLMOps: Gesti\u00f3n del despliegue y mantenimiento de grandes modelos ling\u00fc\u00edsticos<\/h2><\/div>LLMOps, abreviatura de Large Language Model Operations (Operaciones con grandes modelos ling\u00fc\u00edsticos), es una rama especializada de MLOps dise\u00f1ada espec\u00edficamente para gestionar los retos y requisitos exclusivos de la gesti\u00f3n de grandes modelos ling\u00fc\u00edsticos (LLM).<\/p>\n<\/div>
Pero primero, \u00bfqu\u00e9 son exactamente los LLM?<\/h2><\/div>Los LLM son un tipo de modelo de aprendizaje profundo que utiliza cantidades masivas de texto data para estimar miles de millones de par\u00e1metros. Estos par\u00e1metros permiten a los LLM comprender y generar textos de calidad humana, traducir idiomas, resumir informaci\u00f3n compleja y realizar diversas tareas de procesamiento del lenguaje natural.<\/p>\n<\/div>
C\u00f3mo utilizan las organizaciones los LLM<\/h2><\/div>Dado que entrenar a los LLM desde cero es extremadamente caro y lleva mucho tiempo, las organizaciones optan por modelos b\u00e1sicos preentrenados, como GPT de OpenAI o LaMDA de Google AI, como punto de partida. Estos modelos, al estar ya entrenados sobre grandes cantidades de data, poseen amplios conocimientos y pueden realizar diversas tareas, como generar texto, traducir idiomas y escribir distintos tipos de contenidos creativos. Para personalizar a\u00fan m\u00e1s el resultado del LLM a tareas o dominios espec\u00edficos, las organizaciones emplean t\u00e9cnicas como la ingenier\u00eda de prompt, la generaci\u00f3n aumentada por recuperaci\u00f3n (RAG) y el ajuste fino. La ingenier\u00eda de instrucciones implica la elaboraci\u00f3n de instrucciones claras y concisas que gu\u00eden al LLM hacia el resultado deseado, mientras que la RAG fundamenta el modelo en informaci\u00f3n adicional procedente de fuentes externas data, mejorando su rendimiento y relevancia. El ajuste fino, por su parte, implica ajustar los par\u00e1metros del LLM utilizando data adicionales espec\u00edficos para las necesidades de la organizaci\u00f3n. El esquema que figura a continuaci\u00f3n ofrece una visi\u00f3n general del flujo de trabajo del LLMOps, ilustrando c\u00f3mo se integran estas t\u00e9cnicas en el proceso global.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/02\/schema-LLMOps-medium-article.png\" "\\"sch\u00e9ma")
<\/span><\/div>Por qu\u00e9 necesitamos LLMOps<\/h2><\/div>Los r\u00e1pidos avances de la tecnolog\u00eda LLM han sacado a la luz varios retos operativos que requieren enfoques especializados.<\/p>\n
Algunos de estos retos incluyen :<\/p>\n<\/div>
- <\/i><\/span>\n
La necesidad de personalizaci\u00f3n<\/strong>: Aunque los LLM est\u00e1n preentrenados en cantidades masivas de data, la personalizaci\u00f3n es esencial para un rendimiento \u00f3ptimo en tareas espec\u00edficas. Esto ha llevado al desarrollo de nuevas t\u00e9cnicas de personalizaci\u00f3n, como ingenier\u00eda r\u00e1pida<\/strong>, generaci\u00f3n aumentada por recuperaci\u00f3n (RAG<\/strong>) y puesta a punto<\/strong>. RAG ayuda a fundamentar el modelo en la informaci\u00f3n m\u00e1s precisa al proporcionarle una base de conocimientos externa, mientras que el ajuste fino es m\u00e1s adecuado cuando queremos que el modelo realice tareas espec\u00edficas o se adhiera a un formato de respuesta concreto, como JSON o SQL. La elecci\u00f3n entre RAG y ajuste fino depende de si pretendemos aumentar los conocimientos del modelo o mejorar su rendimiento en una tarea espec\u00edfica.<\/p>\n<\/div><\/li>- <\/i><\/span>\n
Cambios en la API<\/strong>: A diferencia de los modelos de ML tradicionales, a menudo se accede a los LLM a trav\u00e9s de API de terceros, que pueden modificarse o incluso quedar obsoletos, lo que requiere una supervisi\u00f3n y adaptaci\u00f3n continuas. Por ejemplo, Abrir la documentaci\u00f3n de la IA<\/a> menciona expl\u00edcitamente que sus modelos est\u00e1n sujetos a actualizaciones peri\u00f3dicas, lo que puede requerir que los usuarios actualicen su software o migren a modelos o puntos finales m\u00e1s nuevos.<\/p>\n<\/div><\/li>- <\/i><\/span>\n
Data deriva<\/strong>, se refiere a un cambio en las propiedades estad\u00edsticas del data de entrada, que se produce con frecuencia en la producci\u00f3n cuando el data encontrado se desv\u00eda del data con el que se entrenaron los LLM. Esto puede llevar a la generaci\u00f3n de informaci\u00f3n inexacta o desfasada. Por ejemplo, con el modelo GPT-3.5, su informaci\u00f3n se limit\u00f3 hasta septiembre de 2021 antes de que la fecha l\u00edmite se ampli\u00f3 hasta enero de 2022<\/a>. En consecuencia, no pudo responder a preguntas sobre acontecimientos m\u00e1s recientes, lo que provoc\u00f3 la frustraci\u00f3n de los usuarios.<\/p>\n<\/div><\/li>- <\/i><\/span>\n
Evaluaci\u00f3n del modelo<\/strong>: En el aprendizaje autom\u00e1tico tradicional, nos basamos en m\u00e9tricas como la exactitud, la precisi\u00f3n y el recuerdo para evaluar nuestros modelos. Sin embargo, la evaluaci\u00f3n de los LLM es bastante m\u00e1s intrincada, sobre todo cuando no se dispone de la verdad sobre el terreno data y cuando se trata de salidas de lenguaje natural en lugar de valores num\u00e9ricos.<\/p>\n<\/div><\/li>- <\/i><\/span>\n
Supervisi\u00f3n<\/strong>: La supervisi\u00f3n continua de los LLM y de las aplicaciones basadas en ellos es crucial. Tambi\u00e9n es m\u00e1s complicado porque implica m\u00faltiples aspectos que deben tenerse en cuenta para garantizar la eficacia y fiabilidad globales de estos modelos ling\u00fc\u00edsticos. Discutiremos estos aspectos con m\u00e1s detalle en la siguiente secci\u00f3n.<\/p>\n<\/div><\/li><\/ul>C\u00f3mo aborda LLMOps estos retos<\/h2><\/div>LLMOps se basa en los cimientos de MLOps al tiempo que introduce componentes especializados adaptados a los LLM :<\/p>\n<\/div>
- <\/i><\/span>\n
Gesti\u00f3n r\u00e1pida de la ingenier\u00eda y la puesta a punto<\/strong>: LLMOps proporciona herramientas como sistemas r\u00e1pidos de control de versiones<\/strong> para realizar un seguimiento y gestionar diferentes versiones de los avisos. Tambi\u00e9n se integra con marcos de ajuste<\/strong> para automatizar y optimizar el proceso de puesta a punto. Un ejemplo destacado de estas herramientas es LangSmith, un marco dise\u00f1ado espec\u00edficamente para gestionar los flujos de trabajo del LLM. Sus completas funciones abarcan versionado r\u00e1pido<\/a>, permitiendo la experimentaci\u00f3n controlada y la reproducibilidad. Adem\u00e1s, LangSmith facilita puesta a punto<\/a> de LLMs utilizando ejecuciones'data tras un eventual filtrado y enriquecimiento para mejorar el rendimiento del modelo.<\/p>\n<\/div><\/li>- <\/i><\/span>\n
Gesti\u00f3n de cambios de la API<\/strong>: LLMOps establece procesos para supervisi\u00f3n<\/strong> Cambios en la API, alertando a<\/strong> operadores ante posibles perturbaciones, y habilitar las reversiones<\/strong> si es necesario.<\/p>\n<\/div><\/li>- <\/i><\/span>\n
Adaptaci\u00f3n del modelo a los cambios data<\/strong>: LLMOps facilita la adaptaci\u00f3n de los LLM a los panoramas evolutivos de data, asegurando que los modelos sigan siendo relevantes y eficaces a medida que cambian los patrones de data. Esto podr\u00eda lograrse mediante seguimiento de las distribuciones de data y activaci\u00f3n de los procesos de adaptaci\u00f3n<\/strong> cuando se detecten cambios significativos. Estos procesos pueden incluir:
\n-> Reentrenamiento o puesta a punto<\/strong>: Dependiendo de la magnitud de la deriva data y de los recursos disponibles, se puede recurrir al reentrenamiento o al ajuste fino para mitigar su impacto.
\n-> Adaptaci\u00f3n del dominio<\/strong>: Puesta a punto del LLM en un dataset del dominio de destino.
\n-> Destilaci\u00f3n de conocimientos<\/strong>: Formar un modelo m\u00e1s peque\u00f1o aprovechando los conocimientos y la experiencia de un modelo m\u00e1s grande, potente y actualizado.<\/p>\n<\/div><\/li>- <\/i><\/span>\n
Evaluaci\u00f3n espec\u00edfica del LLM<\/strong>: El LLMOps emplea nuevas herramientas de evaluaci\u00f3n adaptadas a los LLM. Entre ellas se incluyen:
\n-> M\u00e9tricas basadas en texto<\/strong>, como la perplejidad; una medida estad\u00edstica de lo bien que el modelo es capaz de predecir la siguiente palabra de una secuencia. As\u00ed como las m\u00e9tricas BLEU y ROUGE, que comparan el texto generado por la m\u00e1quina con uno o varios textos de referencia generados por humanos. Se utilizan habitualmente en tareas de traducci\u00f3n y resumen.
\n-> An\u00e1lisis de las incrustaciones<\/strong> (representaciones vectoriales de palabras o frases), para evaluar la capacidad del modelo de comprender las palabras espec\u00edficas del contexto y captar las similitudes sem\u00e1nticas. Las t\u00e9cnicas de visualizaci\u00f3n y agrupaci\u00f3n pueden ayudarnos tambi\u00e9n en la detecci\u00f3n de sesgos.
\n-> Evaluador LLM<\/strong>: Utilizar otros LLM para evaluar nuestro modelo. Por ejemplo, esto puede hacerse atribuyendo una puntuaci\u00f3n a la salida del modelo evaluado basada en m\u00e9tricas predefinidas, como la fluidez, la coherencia, la relevancia y la precisi\u00f3n factual.
\n-> Integraci\u00f3n de la retroalimentaci\u00f3n humana<\/strong>: LLMOps incorpora mecanismos para recopilar e incorporar la retroalimentaci\u00f3n humana en el ciclo de vida del ML, mejorando el rendimiento del LLM y abordando los sesgos.
\nTruLens<\/a> es una herramienta que permite la integraci\u00f3n de estas evaluaciones en las aplicaciones LLM a trav\u00e9s de un enfoque program\u00e1tico conocido como Funciones de retroalimentaci\u00f3n.<\/p>\n<\/div><\/li>- <\/i><\/span>\n
Seguimiento espec\u00edfico del LLM<\/strong>: LLMOps integra una supervisi\u00f3n continua para realizar un seguimiento de las m\u00e9tricas de rendimiento de LLM, identificar posibles problemas y detectar desviaciones o sesgos conceptuales. Esto incluye:
\n-> Supervisi\u00f3n funcional<\/strong>; mediante el seguimiento del n\u00famero de solicitudes, el tiempo de respuesta, el uso de tokens, las tasas de error y el coste.
\n-> Seguimiento puntual<\/strong>; para garantizar la legibilidad y detectar la toxicidad y otras formas de abuso. W&B Prompts<\/a> es un conjunto de herramientas dise\u00f1adas para supervisar las aplicaciones basadas en LLM. Puede utilizarse para analizar las entradas y salidas de sus LLM, visualizar los resultados intermedios y almacenar y gestionar de forma segura sus avisos.
\n-> Seguimiento de la respuesta<\/strong>; garantizar la pertinencia y la coherencia del modelo. Esto incluye evitar la generaci\u00f3n de contenidos alucinantes o ficticios, as\u00ed como garantizar la exclusi\u00f3n de material nocivo o inapropiado. La transparencia puede ayudarnos a comprender mejor la respuesta del modelo. Puede establecerse revelando las fuentes de respuesta (en GAR) o incitando al modelo a justificar su razonamiento (cadena de pensamiento).<\/p>\n<\/div><\/li><\/ul>Esta supervisi\u00f3n data puede utilizarse para mejorar la eficacia operativa. Podemos mejorar la gesti\u00f3n de costes implementando alertas sobre el uso de tokens y empleando estrategias como el almacenamiento en cach\u00e9 de respuestas anteriores. Esto nos permite reutilizarlas para consultas similares sin invocar de nuevo al LLM. Adem\u00e1s, podemos minimizar la latencia optando por modelos m\u00e1s peque\u00f1os siempre que sea factible y limitando el n\u00famero de tokens generados.<\/p>\n<\/div>
Conclusi\u00f3n<\/h2><\/div>En este art\u00edculo, exploramos la aparici\u00f3n de LLMOps, un descendiente de DevOps y MLOps, dise\u00f1ado espec\u00edficamente para abordar los retos operativos que plantean los grandes modelos ling\u00fc\u00edsticos. Concluyamos con una comparaci\u00f3n visual de estas tres metodolog\u00edas, ilustrando su alcance en el contexto de las empresas usuarias de LLM, que aprovechan estos modelos para crear productos y resolver problemas empresariales.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/02\/schema-2-LLMOps-medium-article.png\" "\\"sch\u00e9ma")
<\/span><\/div>Aunque las tres metodolog\u00edas comparten pr\u00e1cticas comunes como CI\/CD, versionado y evaluaci\u00f3n, cada una tiene \u00e1reas de enfoque distintas. DevOps abarca todo el ciclo de vida del desarrollo de software, desde el desarrollo hasta el despliegue y el mantenimiento. MLOps ampl\u00eda DevOps para abordar los retos espec\u00edficos de los modelos de aprendizaje autom\u00e1tico, incluida la automatizaci\u00f3n de la formaci\u00f3n, el despliegue y la supervisi\u00f3n de los modelos. LLMOps, la \u00faltima iteraci\u00f3n de estas metodolog\u00edas, se centra espec\u00edficamente en los LLM. Aunque las empresas usuarias de LLM no necesitan desarrollar sus propios modelos, siguen enfrent\u00e1ndose a retos operativos, como la gesti\u00f3n de los cambios de API y la personalizaci\u00f3n de los modelos mediante t\u00e9cnicas como la ingenier\u00eda r\u00e1pida y el ajuste fino.<\/p>\n<\/div><\/div><\/div><\/div><\/article>
Este art\u00edculo presenta LLMOps, una rama especializada que fusiona DevOps y MLOps para gestionar los retos que plantean los grandes modelos ling\u00fc\u00edsticos<\/strong> (LLMs). Los LLM, como el GPT de OpenAI, utilizan textos extensos data para tareas como la generaci\u00f3n de textos y la traducci\u00f3n de idiomas. Los LLMO abordan cuestiones como personalizaci\u00f3n, cambios de API, deriva data, evaluaci\u00f3n de modelos y supervisi\u00f3n<\/strong> a trav\u00e9s de herramientas como LangSmith, TruLens y W&B Prompts. Garantiza la adaptabilidad, la evaluaci\u00f3n y la supervisi\u00f3n de los LLM en escenarios reales, ofreciendo una soluci\u00f3n integral para las organizaciones que aprovechan estos modelos ling\u00fc\u00edsticos avanzados.<\/p>\n<\/div> Para guiarle a trav\u00e9s de este debate, comenzaremos revisando los principios fundacionales de DevOps y MLOps, y despu\u00e9s nos centraremos en LLMOps, comenzando con una breve introducci\u00f3n a los LLM y su utilizaci\u00f3n por parte de las organizaciones. A continuaci\u00f3n, profundizaremos en los principales retos operativos que plantea la tecnolog\u00eda LLM y en c\u00f3mo los LLMOps los abordan de forma eficaz.<\/p>\n<\/div> DevOps, abreviatura de Desarrollo y Operaciones, es un conjunto de pr\u00e1cticas cuyo objetivo es automatizar el proceso de entrega de software, haci\u00e9ndolo m\u00e1s eficiente, fiable y escalable. Los principios b\u00e1sicos de DevOps incluyen: colaboraci\u00f3n, automatizaci\u00f3n, pruebas continuas, supervisi\u00f3n y orquestaci\u00f3n del despliegue.<\/p>\n<\/div> MLOps, abreviatura de Machine Learning Operations (operaciones de aprendizaje autom\u00e1tico), es una extensi\u00f3n de las pr\u00e1cticas DevOps adaptada espec\u00edficamente a la gesti\u00f3n del ciclo de vida de los modelos de aprendizaje autom\u00e1tico. Aborda los retos \u00fanicos que plantea la naturaleza iterativa y experimental del desarrollo del aprendizaje autom\u00e1tico. Introduce tareas adicionales como el versionado y la gesti\u00f3n de data, as\u00ed como la experimentaci\u00f3n y el entrenamiento de modelos.<\/p>\n<\/div> LLMOps, abreviatura de Large Language Model Operations (Operaciones con grandes modelos ling\u00fc\u00edsticos), es una rama especializada de MLOps dise\u00f1ada espec\u00edficamente para gestionar los retos y requisitos exclusivos de la gesti\u00f3n de grandes modelos ling\u00fc\u00edsticos (LLM).<\/p>\n<\/div> Los LLM son un tipo de modelo de aprendizaje profundo que utiliza cantidades masivas de texto data para estimar miles de millones de par\u00e1metros. Estos par\u00e1metros permiten a los LLM comprender y generar textos de calidad humana, traducir idiomas, resumir informaci\u00f3n compleja y realizar diversas tareas de procesamiento del lenguaje natural.<\/p>\n<\/div> Dado que entrenar a los LLM desde cero es extremadamente caro y lleva mucho tiempo, las organizaciones optan por modelos b\u00e1sicos preentrenados, como GPT de OpenAI o LaMDA de Google AI, como punto de partida. Estos modelos, al estar ya entrenados sobre grandes cantidades de data, poseen amplios conocimientos y pueden realizar diversas tareas, como generar texto, traducir idiomas y escribir distintos tipos de contenidos creativos. Para personalizar a\u00fan m\u00e1s el resultado del LLM a tareas o dominios espec\u00edficos, las organizaciones emplean t\u00e9cnicas como la ingenier\u00eda de prompt, la generaci\u00f3n aumentada por recuperaci\u00f3n (RAG) y el ajuste fino. La ingenier\u00eda de instrucciones implica la elaboraci\u00f3n de instrucciones claras y concisas que gu\u00eden al LLM hacia el resultado deseado, mientras que la RAG fundamenta el modelo en informaci\u00f3n adicional procedente de fuentes externas data, mejorando su rendimiento y relevancia. El ajuste fino, por su parte, implica ajustar los par\u00e1metros del LLM utilizando data adicionales espec\u00edficos para las necesidades de la organizaci\u00f3n. El esquema que figura a continuaci\u00f3n ofrece una visi\u00f3n general del flujo de trabajo del LLMOps, ilustrando c\u00f3mo se integran estas t\u00e9cnicas en el proceso global.<\/p>\n<\/div> Los r\u00e1pidos avances de la tecnolog\u00eda LLM han sacado a la luz varios retos operativos que requieren enfoques especializados.<\/p>\n Algunos de estos retos incluyen :<\/p>\n<\/div> La necesidad de personalizaci\u00f3n<\/strong>: Aunque los LLM est\u00e1n preentrenados en cantidades masivas de data, la personalizaci\u00f3n es esencial para un rendimiento \u00f3ptimo en tareas espec\u00edficas. Esto ha llevado al desarrollo de nuevas t\u00e9cnicas de personalizaci\u00f3n, como ingenier\u00eda r\u00e1pida<\/strong>, generaci\u00f3n aumentada por recuperaci\u00f3n (RAG<\/strong>) y puesta a punto<\/strong>. RAG ayuda a fundamentar el modelo en la informaci\u00f3n m\u00e1s precisa al proporcionarle una base de conocimientos externa, mientras que el ajuste fino es m\u00e1s adecuado cuando queremos que el modelo realice tareas espec\u00edficas o se adhiera a un formato de respuesta concreto, como JSON o SQL. La elecci\u00f3n entre RAG y ajuste fino depende de si pretendemos aumentar los conocimientos del modelo o mejorar su rendimiento en una tarea espec\u00edfica.<\/p>\n<\/div><\/li> Cambios en la API<\/strong>: A diferencia de los modelos de ML tradicionales, a menudo se accede a los LLM a trav\u00e9s de API de terceros, que pueden modificarse o incluso quedar obsoletos, lo que requiere una supervisi\u00f3n y adaptaci\u00f3n continuas. Por ejemplo, Abrir la documentaci\u00f3n de la IA<\/a> menciona expl\u00edcitamente que sus modelos est\u00e1n sujetos a actualizaciones peri\u00f3dicas, lo que puede requerir que los usuarios actualicen su software o migren a modelos o puntos finales m\u00e1s nuevos.<\/p>\n<\/div><\/li> Data deriva<\/strong>, se refiere a un cambio en las propiedades estad\u00edsticas del data de entrada, que se produce con frecuencia en la producci\u00f3n cuando el data encontrado se desv\u00eda del data con el que se entrenaron los LLM. Esto puede llevar a la generaci\u00f3n de informaci\u00f3n inexacta o desfasada. Por ejemplo, con el modelo GPT-3.5, su informaci\u00f3n se limit\u00f3 hasta septiembre de 2021 antes de que la fecha l\u00edmite se ampli\u00f3 hasta enero de 2022<\/a>. En consecuencia, no pudo responder a preguntas sobre acontecimientos m\u00e1s recientes, lo que provoc\u00f3 la frustraci\u00f3n de los usuarios.<\/p>\n<\/div><\/li> Evaluaci\u00f3n del modelo<\/strong>: En el aprendizaje autom\u00e1tico tradicional, nos basamos en m\u00e9tricas como la exactitud, la precisi\u00f3n y el recuerdo para evaluar nuestros modelos. Sin embargo, la evaluaci\u00f3n de los LLM es bastante m\u00e1s intrincada, sobre todo cuando no se dispone de la verdad sobre el terreno data y cuando se trata de salidas de lenguaje natural en lugar de valores num\u00e9ricos.<\/p>\n<\/div><\/li> Supervisi\u00f3n<\/strong>: La supervisi\u00f3n continua de los LLM y de las aplicaciones basadas en ellos es crucial. Tambi\u00e9n es m\u00e1s complicado porque implica m\u00faltiples aspectos que deben tenerse en cuenta para garantizar la eficacia y fiabilidad globales de estos modelos ling\u00fc\u00edsticos. Discutiremos estos aspectos con m\u00e1s detalle en la siguiente secci\u00f3n.<\/p>\n<\/div><\/li><\/ul> LLMOps se basa en los cimientos de MLOps al tiempo que introduce componentes especializados adaptados a los LLM :<\/p>\n<\/div> Gesti\u00f3n r\u00e1pida de la ingenier\u00eda y la puesta a punto<\/strong>: LLMOps proporciona herramientas como sistemas r\u00e1pidos de control de versiones<\/strong> para realizar un seguimiento y gestionar diferentes versiones de los avisos. Tambi\u00e9n se integra con marcos de ajuste<\/strong> para automatizar y optimizar el proceso de puesta a punto. Un ejemplo destacado de estas herramientas es LangSmith, un marco dise\u00f1ado espec\u00edficamente para gestionar los flujos de trabajo del LLM. Sus completas funciones abarcan versionado r\u00e1pido<\/a>, permitiendo la experimentaci\u00f3n controlada y la reproducibilidad. Adem\u00e1s, LangSmith facilita puesta a punto<\/a> de LLMs utilizando ejecuciones'data tras un eventual filtrado y enriquecimiento para mejorar el rendimiento del modelo.<\/p>\n<\/div><\/li> Gesti\u00f3n de cambios de la API<\/strong>: LLMOps establece procesos para supervisi\u00f3n<\/strong> Cambios en la API, alertando a<\/strong> operadores ante posibles perturbaciones, y habilitar las reversiones<\/strong> si es necesario.<\/p>\n<\/div><\/li> Adaptaci\u00f3n del modelo a los cambios data<\/strong>: LLMOps facilita la adaptaci\u00f3n de los LLM a los panoramas evolutivos de data, asegurando que los modelos sigan siendo relevantes y eficaces a medida que cambian los patrones de data. Esto podr\u00eda lograrse mediante seguimiento de las distribuciones de data y activaci\u00f3n de los procesos de adaptaci\u00f3n<\/strong> cuando se detecten cambios significativos. Estos procesos pueden incluir: Evaluaci\u00f3n espec\u00edfica del LLM<\/strong>: El LLMOps emplea nuevas herramientas de evaluaci\u00f3n adaptadas a los LLM. Entre ellas se incluyen: Seguimiento espec\u00edfico del LLM<\/strong>: LLMOps integra una supervisi\u00f3n continua para realizar un seguimiento de las m\u00e9tricas de rendimiento de LLM, identificar posibles problemas y detectar desviaciones o sesgos conceptuales. Esto incluye: Esta supervisi\u00f3n data puede utilizarse para mejorar la eficacia operativa. Podemos mejorar la gesti\u00f3n de costes implementando alertas sobre el uso de tokens y empleando estrategias como el almacenamiento en cach\u00e9 de respuestas anteriores. Esto nos permite reutilizarlas para consultas similares sin invocar de nuevo al LLM. Adem\u00e1s, podemos minimizar la latencia optando por modelos m\u00e1s peque\u00f1os siempre que sea factible y limitando el n\u00famero de tokens generados.<\/p>\n<\/div> En este art\u00edculo, exploramos la aparici\u00f3n de LLMOps, un descendiente de DevOps y MLOps, dise\u00f1ado espec\u00edficamente para abordar los retos operativos que plantean los grandes modelos ling\u00fc\u00edsticos. Concluyamos con una comparaci\u00f3n visual de estas tres metodolog\u00edas, ilustrando su alcance en el contexto de las empresas usuarias de LLM, que aprovechan estos modelos para crear productos y resolver problemas empresariales.<\/p>\n<\/div> Aunque las tres metodolog\u00edas comparten pr\u00e1cticas comunes como CI\/CD, versionado y evaluaci\u00f3n, cada una tiene \u00e1reas de enfoque distintas. DevOps abarca todo el ciclo de vida del desarrollo de software, desde el desarrollo hasta el despliegue y el mantenimiento. MLOps ampl\u00eda DevOps para abordar los retos espec\u00edficos de los modelos de aprendizaje autom\u00e1tico, incluida la automatizaci\u00f3n de la formaci\u00f3n, el despliegue y la supervisi\u00f3n de los modelos. LLMOps, la \u00faltima iteraci\u00f3n de estas metodolog\u00edas, se centra espec\u00edficamente en los LLM. Aunque las empresas usuarias de LLM no necesitan desarrollar sus propios modelos, siguen enfrent\u00e1ndose a retos operativos, como la gesti\u00f3n de los cambios de API y la personalizaci\u00f3n de los modelos mediante t\u00e9cnicas como la ingenier\u00eda r\u00e1pida y el ajuste fino.<\/p>\n<\/div><\/div><\/div><\/div><\/article>Principios fundamentales para LLMOps : DevOps y MLOps<\/h2><\/div>
LLMOps: Gesti\u00f3n del despliegue y mantenimiento de grandes modelos ling\u00fc\u00edsticos<\/h2><\/div>
Pero primero, \u00bfqu\u00e9 son exactamente los LLM?<\/h2><\/div>
C\u00f3mo utilizan las organizaciones los LLM<\/h2><\/div>
<\/span><\/div>Por qu\u00e9 necesitamos LLMOps<\/h2><\/div>
C\u00f3mo aborda LLMOps estos retos<\/h2><\/div>
\n-> Reentrenamiento o puesta a punto<\/strong>: Dependiendo de la magnitud de la deriva data y de los recursos disponibles, se puede recurrir al reentrenamiento o al ajuste fino para mitigar su impacto.
\n-> Adaptaci\u00f3n del dominio<\/strong>: Puesta a punto del LLM en un dataset del dominio de destino.
\n-> Destilaci\u00f3n de conocimientos<\/strong>: Formar un modelo m\u00e1s peque\u00f1o aprovechando los conocimientos y la experiencia de un modelo m\u00e1s grande, potente y actualizado.<\/p>\n<\/div><\/li>
\n-> M\u00e9tricas basadas en texto<\/strong>, como la perplejidad; una medida estad\u00edstica de lo bien que el modelo es capaz de predecir la siguiente palabra de una secuencia. As\u00ed como las m\u00e9tricas BLEU y ROUGE, que comparan el texto generado por la m\u00e1quina con uno o varios textos de referencia generados por humanos. Se utilizan habitualmente en tareas de traducci\u00f3n y resumen.
\n-> An\u00e1lisis de las incrustaciones<\/strong> (representaciones vectoriales de palabras o frases), para evaluar la capacidad del modelo de comprender las palabras espec\u00edficas del contexto y captar las similitudes sem\u00e1nticas. Las t\u00e9cnicas de visualizaci\u00f3n y agrupaci\u00f3n pueden ayudarnos tambi\u00e9n en la detecci\u00f3n de sesgos.
\n-> Evaluador LLM<\/strong>: Utilizar otros LLM para evaluar nuestro modelo. Por ejemplo, esto puede hacerse atribuyendo una puntuaci\u00f3n a la salida del modelo evaluado basada en m\u00e9tricas predefinidas, como la fluidez, la coherencia, la relevancia y la precisi\u00f3n factual.
\n-> Integraci\u00f3n de la retroalimentaci\u00f3n humana<\/strong>: LLMOps incorpora mecanismos para recopilar e incorporar la retroalimentaci\u00f3n humana en el ciclo de vida del ML, mejorando el rendimiento del LLM y abordando los sesgos.
\nTruLens<\/a> es una herramienta que permite la integraci\u00f3n de estas evaluaciones en las aplicaciones LLM a trav\u00e9s de un enfoque program\u00e1tico conocido como Funciones de retroalimentaci\u00f3n.<\/p>\n<\/div><\/li>
\n-> Supervisi\u00f3n funcional<\/strong>; mediante el seguimiento del n\u00famero de solicitudes, el tiempo de respuesta, el uso de tokens, las tasas de error y el coste.
\n-> Seguimiento puntual<\/strong>; para garantizar la legibilidad y detectar la toxicidad y otras formas de abuso. W&B Prompts<\/a> es un conjunto de herramientas dise\u00f1adas para supervisar las aplicaciones basadas en LLM. Puede utilizarse para analizar las entradas y salidas de sus LLM, visualizar los resultados intermedios y almacenar y gestionar de forma segura sus avisos.
\n-> Seguimiento de la respuesta<\/strong>; garantizar la pertinencia y la coherencia del modelo. Esto incluye evitar la generaci\u00f3n de contenidos alucinantes o ficticios, as\u00ed como garantizar la exclusi\u00f3n de material nocivo o inapropiado. La transparencia puede ayudarnos a comprender mejor la respuesta del modelo. Puede establecerse revelando las fuentes de respuesta (en GAR) o incitando al modelo a justificar su razonamiento (cadena de pensamiento).<\/p>\n<\/div><\/li><\/ul>Conclusi\u00f3n<\/h2><\/div>
<\/span><\/div>
![](\"https:\/\/artefact.com\/\/wp-content\/uploads\/2021\/03\/medium.png\" "\\"medio\\"")
<\/span><\/div>