{"id":63719,"date":"2021-10-25T17:00:23","date_gmt":"2021-10-25T16:00:23","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=news&p=63719"},"modified":"2024-09-20T17:45:46","modified_gmt":"2024-09-20T16:45:46","slug":"serving-ml-models-at-scale-using-mlflow-on-kubernetes-part-2","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/es\/blog\/serving-ml-models-at-scale-using-mlflow-on-kubernetes-part-2\/","title":{"rendered":"Servir modelos ML a escala utilizando Mlflow en Kubernetes - Parte 2"},"content":{"rendered":"

Autor<\/h2><\/div>\"Image\"

Kais Laribi<\/h3><\/div>

Cient\u00edfico Senior Data en Artefact<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Lea nuestro art\u00edculo sobre<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Este art\u00edculo es la segunda parte de una serie en la que recorremos el proceso de registrar modelos utilizando Mlflow, servirlos como un punto final de la API y, finalmente, escalarlos seg\u00fan las necesidades de nuestra aplicaci\u00f3n. Le animamos a leer nuestro art\u00edculo anterior en el que mostramos c\u00f3mo desplegar una instancia de seguimiento en k8s y comprobar los prerrequisitos pr\u00e1cticos (secretos, variables de entorno...) ya que aqu\u00ed seguiremos bas\u00e1ndonos en ellos.
\nA continuaci\u00f3n, mostramos c\u00f3mo servir un modelo de aprendizaje autom\u00e1tico que ya est\u00e1 registrado en Mlflow y exponerlo como un punto final de la API en k8s.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Parte 2- \u00bfC\u00f3mo servir un modelo como API en Kubernetes?<\/h1><\/div>

Introducci\u00f3n<\/h2><\/div>

Es obvio que el seguimiento y la optimizaci\u00f3n del rendimiento de los modelos es una parte importante de la creaci\u00f3n de modelos de ML. Una vez hecho esto, el siguiente reto es integrarlos en una aplicaci\u00f3n o un producto para utilizar sus predicciones. Esto es lo que llamamos servicio o inferencia de modelos. Existen diferentes marcos de trabajo y t\u00e9cnicas que nos permiten hacerlo. Sin embargo, aqu\u00ed nos centraremos en Mlflow y mostraremos lo eficiente y sencillo que puede llegar a ser.<\/p>\n<\/div>

Construir y desplegar la imagen de servicio<\/h2><\/div>

Los diferentes archivos de configuraci\u00f3n utilizados aqu\u00ed forman parte del\u00a0repositorio pr\u00e1ctico<\/a>\u00a0B\u00e1sicamente, necesitamos<\/p>\n<\/div>

1. Prepare la imagen docker del servidor Mlflow y env\u00edela al registro de contenedores en GCP.<\/h3><\/div>
cd mlflow-serving-ejemplo<\/span>docker build --tag $\/mlflow_serving:v1 
--archivo docker_mlflow_serving .<\/span>docker push $\/mlflow_serving:v1<\/span><\/pre>\n<\/div>
2. Prepare el archivo de despliegue de Kubernetes<\/h3><\/div>
modificando la secci\u00f3n del contenedor y mape\u00e1ndola al\u00a0imagen docker<\/strong>\u00a0previamente empujado a GCR,\u00a0la trayectoria del modelo<\/strong>\u00a0y\u00a0el puerto servidor.<\/strong><\/p>\n<\/div>
\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
apiVersion<\/span>: apps\/v1<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\namable<\/span>: Despliegue<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nmetadata<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nnombre<\/span>: mlflow-serving<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\netiquetas<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\napp<\/span>: serve-ML-model-mlflow<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\n\u00a0<\/td>\n<\/tr>\n
\u00a0<\/td>\nspec<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nr\u00e9plicas<\/span>: 1<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nselector<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nmatchLabels<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\napp<\/span>: mlflow-serving<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nplantilla<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nmetadata<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\netiquetas<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\napp<\/span>: mlflow-serving<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\n\u00a0<\/td>\n<\/tr>\n
\u00a0<\/td>\nspec<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\ncontenedores<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\n\u2013 nombre<\/span>: mlflow-serving<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nimagen<\/span>: GCR_REPO\/mlflow_serving:v1 <\/span>1TP45Cambie aqu\u00ed<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nenv<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\n\u2013 nombre<\/span>: MODELO_URI<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nvalor<\/span>: \u201c<\/span>gs:\/\/..\/artifacts\/..\/..\/artifacts\/..\u201c<\/span><\/span> 1TP45Cambie aqu\u00ed<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\n\u2013 nombre<\/span>: PUERTO DE SERVICIO<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nvalor<\/span>: \u201c<\/span>8082\u201c<\/span><\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\n\u2013 nombre<\/span>: GOOGLE_APPLICATION_CREDENTIALS<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nvalor<\/span>: \u201c<\/span>\/etc\/secrets\/keyfile.json\u201c<\/span><\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nvolumeMounts<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\n\u2013 nombre<\/span>: gcsfs-creds<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nmountPath<\/span>: \u201c<\/span>\/etc\/secrets\u201c<\/span><\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nreadOnly<\/span>: verdadero<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nrecursos<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nsolicita<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\ncpu<\/span>: \u201c<\/span>1000m\u201c<\/span><\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\n\u00a0<\/td>\n<\/tr>\n
\u00a0<\/td>\n\u00a0<\/td>\n<\/tr>\n
\u00a0<\/td>\nvol\u00famenes<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\n\u2013 nombre<\/span>: gcsfs-creds<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nsecreto<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nsecretName<\/span>: gcsfs-creds<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nart\u00edculos<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\n\u2013 llave<\/span>: keyfile.json<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nruta<\/span>: keyfile.json<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>
3. Ejecute los comandos de despliegue<\/h3><\/div>
kubectl create -f deployments\/mlflow-serving\/mlflow_serving.yaml<\/p>\n<\/div>
4. Exponga el despliegue para el acceso externo<\/h3><\/div>
Con el siguiente comando, se crear\u00e1 un nuevo recurso para redirigir el tr\u00e1fico externo a nuestra API.<\/p>\n
kubectl expose deployment mlflow-serving --port 8082 --type=\"LoadBalancer\"<\/span><\/pre>\n<\/div>
5. Compruebe el despliegue y consulte el punto final<\/h3><\/div>
Si el despliegue tiene \u00e9xito, mlflow-serving deber\u00eda estar UP y un pod deber\u00eda estar disponible. Puede comprobarlo escribiendo\u00a0kubectl get pods<\/strong><\/em><\/p>\n<\/div>
<\/span><\/div>
El paso final es comprobar la direcci\u00f3n IP externa que se asign\u00f3 al equilibrador de carga que redirige el tr\u00e1fico a nuestro contenedor API utilizando\u00a0kubectl obtener servicios<\/em><\/strong>\u00a0y pruebe la respuesta a algunas consultas.<\/p>\n<\/div>
<\/span><\/div>
Un c\u00f3digo de ejemplo para realizar esas consultas podr\u00eda encontrarse en lo siguiente\u00a0cuaderno<\/a>\u00a0en el que cargamos unas cuantas filas de data, seleccionamos caracter\u00edsticas, las convertimos a formato JSON y las enviamos en una solicitud posterior a la API.
\nAhora, combinando los pasos realizados en nuestros art\u00edculos anterior y actual, nuestra arquitectura final tendr\u00eda el siguiente aspecto:<\/p>\n<\/div>
<\/span><\/div>
Conclusi\u00f3n<\/h2><\/div>
En este art\u00edculo, mostramos que podemos desplegar f\u00e1cilmente modelos de aprendizaje autom\u00e1tico como un punto final de API utilizando el m\u00f3dulo de servicio Mlflow.<\/p>\n
Como podr\u00e1 observar, en nuestro despliegue actual s\u00f3lo se ha creado un pod para servir el modelo. Aunque esto funciona bien para aplicaciones peque\u00f1as en las que no esperamos m\u00faltiples consultas paralelas, podr\u00eda mostrar r\u00e1pidamente sus l\u00edmites en otras, ya que un solo pod tiene recursos limitados. Adem\u00e1s, de esta forma la aplicaci\u00f3n no podr\u00e1 utilizar la potencia de c\u00e1lculo de m\u00e1s de un nodo. En el siguiente y \u00faltimo art\u00edculo de esta serie, abordaremos la cuesti\u00f3n de la escalabilidad. En primer lugar, destacaremos los cuellos de botella e intentaremos resolverlos para conseguir una aplicaci\u00f3n escalable que aproveche la potencia de nuestro cl\u00faster Kubernetes.<\/p>\n<\/div><\/div><\/div><\/div><\/article>
<\/span><\/div>
Medio Blog por Artefact.<\/h3><\/div>
Este art\u00edculo se public\u00f3 inicialmente en Medium.com<\/strong>.
\n\u00a1S\u00edganos en nuestro Medium Blog !<\/p>\n<\/div>
Lea nuestro art\u00edculo<\/span><\/a><\/div><\/div><\/div><\/div><\/div><\/p>","protected":false},"excerpt":{"rendered":"
25 de octubre de 2021
\nEste art\u00edculo es la segunda parte de una serie en la que recorremos el proceso de registrar modelos utilizando Mlflow, servirlos como un punto final de la API y, finalmente, escalarlos seg\u00fan las necesidades de nuestra aplicaci\u00f3n. Le animamos a leer nuestro art\u00edculo anterior en el que mostramos c\u00f3mo desplegar una instancia de seguimiento en k8s y comprobar los prerrequisitos pr\u00e1cticos (secretos, variables de entorno...) ya que aqu\u00ed seguiremos bas\u00e1ndonos en ellos.
\nA continuaci\u00f3n, mostramos c\u00f3mo servir un modelo de aprendizaje autom\u00e1tico que ya est\u00e1 registrado en Mlflow y exponerlo como un punto final de la API en k8s.<\/p>","protected":false},"featured_media":65014,"parent":0,"template":"","meta":{"_acf_changed":false,"ep_exclude_from_search":false},"blog-category":[21939],"blog-language":[2991],"class_list":["post-63719","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-medium","blog-language-en"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.artefact.com\/es\/wp-json\/wp\/v2\/blog\/63719","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.artefact.com\/es\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www.artefact.com\/es\/wp-json\/wp\/v2\/types\/blog"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.artefact.com\/es\/wp-json\/wp\/v2\/media\/65014"}],"wp:attachment":[{"href":"https:\/\/www.artefact.com\/es\/wp-json\/wp\/v2\/media?parent=63719"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/www.artefact.com\/es\/wp-json\/wp\/v2\/blog-category?post=63719"},{"taxonomy":"blog-language","embeddable":true,"href":"https:\/\/www.artefact.com\/es\/wp-json\/wp\/v2\/blog-language?post=63719"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}