{"id":64449,"date":"2021-10-26T16:06:03","date_gmt":"2021-10-26T15:06:03","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=news&p=64449"},"modified":"2024-09-20T17:45:46","modified_gmt":"2024-09-20T16:45:46","slug":"serving-ml-models-at-scale-using-mlflow-on-kubernetes-part-2-2","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/es\/blog\/serving-ml-models-at-scale-using-mlflow-on-kubernetes-part-2-2\/","title":{"rendered":"Servir modelos ML a escala utilizando Mlflow en Kubernetes - Parte 3"},"content":{"rendered":"

Autor<\/h2><\/div>\"Image\"

Kais Laribi<\/h3><\/div>

Cient\u00edfico Senior Data en Artefact<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Lea nuestro art\u00edculo sobre<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Este art\u00edculo es la tercera parte de una serie en la que recorremos el proceso de registrar modelos utilizando Mlflow, servirlos en el motor Kubernetes y finalmente escalarlos seg\u00fan las necesidades de nuestra aplicaci\u00f3n. Aunque este art\u00edculo podr\u00eda utilizarse de forma independiente para probar cualquier respuesta de API, recomendamos la lectura de nuestros dos art\u00edculos anteriores (parte1 y parte2) sobre c\u00f3mo desplegar una instancia de seguimiento y servir un modelo como API con Mlflow. A continuaci\u00f3n, nos interesaremos por la cuesti\u00f3n de la escalabilidad y la abordaremos con algunos experimentos para comprender el comportamiento del cl\u00faster k8s y dar recomendaciones sobre c\u00f3mo manejar cargas elevadas.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Parte 3 - \u00bfC\u00f3mo manejar cargas elevadas y hacer que nuestra aplicaci\u00f3n sea escalable?<\/h1><\/div>

Introducci\u00f3n<\/h2><\/div>

En un escenario cl\u00e1sico en el que se despliega un modelo de aprendizaje autom\u00e1tico detr\u00e1s de una aplicaci\u00f3n o un producto, varios usuarios podr\u00edan interactuar con \u00e9l simult\u00e1neamente para generar predicciones. Por lo tanto, es esencial analizar las capacidades de nuestra infraestructura y dimensionarla en consecuencia. Esto resulta especialmente interesante en lo que respecta a Kubernetes, ya que podr\u00eda influir en las decisiones sobre si utilizar o no el autoescalado, el n\u00famero m\u00e1ximo de nodos a considerar...<\/p>\n<\/div>

En este contexto, las pruebas de carga permiten simular m\u00faltiples n\u00fameros simult\u00e1neos o incrementales de peticiones y monitorizar el comportamiento de la infraestructura (tiempo de respuesta, uso de CPU, uso de memoria..) con el fin de dimensionar correctamente los recursos y evitar cuellos de botella. Estas pruebas se realizar\u00e1n aqu\u00ed utilizando una herramienta llamada Locust.<\/p>\n<\/div>

Preparaci\u00f3n del entorno<\/h2><\/div>

Los requisitos para este Hands-on se detallan en el primer art\u00edculo de esta serie, pero a modo de resumen, aqu\u00ed est\u00e1n los principales elementos que necesitamos espec\u00edficamente para esta parte suponiendo que nuestro modelo ya est\u00e1 desplegado como una API en un cl\u00faster Kubernetes (mlflow-k8s).<\/p>\n

Para esta parte de la pr\u00e1ctica, necesitaremos:<\/p>\n<\/div>