{"id":63719,"date":"2021-10-25T17:00:23","date_gmt":"2021-10-25T16:00:23","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=news&p=63719"},"modified":"2024-09-20T17:45:46","modified_gmt":"2024-09-20T16:45:46","slug":"serving-ml-models-at-scale-using-mlflow-on-kubernetes-part-2","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/br\/blog\/serving-ml-models-at-scale-using-mlflow-on-kubernetes-part-2\/","title":{"rendered":"Servindo modelos de ML em escala usando o Mlflow no Kubernetes - Parte 2"},"content":{"rendered":"

Autor<\/h2><\/div>\"Image\"

Kais Laribi<\/h3><\/div>

Cientista s\u00eanior do Data no Artefact<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Leia nosso artigo sobre<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Este artigo \u00e9 a segunda parte de uma s\u00e9rie na qual percorremos o processo de registro de modelos usando o Mlflow, servindo-os como um endpoint de API e, por fim, dimensionando-os de acordo com as necessidades do nosso aplicativo. Recomendamos que os senhores leiam nosso artigo anterior, no qual mostramos como implantar uma inst\u00e2ncia de rastreamento no k8s e verificar os pr\u00e9-requisitos pr\u00e1ticos (segredos, vari\u00e1veis de ambiente...), pois continuaremos a nos basear neles aqui.
\nA seguir, mostramos como servir um modelo de aprendizado de m\u00e1quina que j\u00e1 est\u00e1 registrado no Mlflow e exp\u00f4-lo como um endpoint de API no k8s.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Parte 2 - Como servir um modelo como uma API no Kubernetes?<\/h1><\/div>

Introdu\u00e7\u00e3o<\/h2><\/div>

\u00c9 \u00f3bvio que rastrear e otimizar o desempenho dos modelos \u00e9 uma parte importante da cria\u00e7\u00e3o de modelos de ML. Uma vez feito isso, o pr\u00f3ximo desafio \u00e9 integr\u00e1-los a um aplicativo ou produto para usar suas previs\u00f5es. Isso \u00e9 o que chamamos de infer\u00eancia ou servi\u00e7o de modelos. Existem diferentes estruturas e t\u00e9cnicas que nos permitem fazer isso. No entanto, aqui vamos nos concentrar no Mlflow e mostraremos como ele pode ser eficiente e direto.<\/p>\n<\/div>

Criar e implementar a imagem de servi\u00e7o<\/h2><\/div>

Os diferentes arquivos de configura\u00e7\u00e3o usados aqui fazem parte do\u00a0reposit\u00f3rio pr\u00e1tico<\/a>\u00a0Basicamente, precisamos:<\/p>\n<\/div>

1. Prepare a imagem do docker de servi\u00e7o do Mlflow e envie-a para o registro de cont\u00eaineres no GCP.<\/h3><\/div>
cd mlflow-serving-example<\/span>docker build --tag $\/mlflow_serving:v1 
--file docker_mlflow_serving .<\/span>docker push $\/mlflow_serving:v1<\/span><\/pre>\n<\/div>
2. Prepare o arquivo de implanta\u00e7\u00e3o do Kubernetes<\/h3><\/div>
modificando a se\u00e7\u00e3o do cont\u00eainer e mapeando-a para o\u00a0imagem do docker<\/strong>\u00a0anteriormente enviados para o GCR,\u00a0o caminho do modelo<\/strong>\u00a0e\u00a0a porta de servi\u00e7o.<\/strong><\/p>\n<\/div>
\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
Vers\u00e3o da API<\/span>: aplicativos\/v1<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\ntipo<\/span>: Implanta\u00e7\u00e3o<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nmetadata<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nnome<\/span>: mlflow-serving<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nr\u00f3tulos<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\naplicativo<\/span>: servir-ML-model-mlflow<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\n\u00a0<\/td>\n<\/tr>\n
\u00a0<\/td>\nespecifica\u00e7\u00e3o<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nr\u00e9plicas<\/span>: 1<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nseletor<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nmatchLabels<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\naplicativo<\/span>: mlflow-serving<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nmodelo<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nmetadata<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nr\u00f3tulos<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\naplicativo<\/span>: mlflow-serving<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\n\u00a0<\/td>\n<\/tr>\n
\u00a0<\/td>\nespecifica\u00e7\u00e3o<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\ncont\u00eaineres<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\n- nome<\/span>: mlflow-serving<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nimagem<\/span>: GCR_REPO\/mlflow_serving:v1 <\/span>#roque aqui<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nenv<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\n- nome<\/span>: MODEL_URI<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nvalor<\/span>: \u201c<\/span>gs:\/\/..\/artifacts\/..\/..\/artifacts\/..\u201c<\/span><\/span> #roque aqui<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\n- nome<\/span>: SERVING_PORT<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nvalor<\/span>: \u201c<\/span>8082\u201c<\/span><\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\n- nome<\/span>: GOOGLE_APPLICATION_CREDENTIALS<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nvalor<\/span>: \u201c<\/span>\/etc\/secrets\/keyfile.json\u201c<\/span><\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nvolumeMounts<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\n- nome<\/span>: gcsfs-creds<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nmountPath<\/span>: \u201c<\/span>\/etc\/secrets\u201c<\/span><\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nreadOnly<\/span>: verdadeiro<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nrecursos<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nsolicita\u00e7\u00f5es<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\ncpu<\/span>: \u201c<\/span>1000m\u201c<\/span><\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\n\u00a0<\/td>\n<\/tr>\n
\u00a0<\/td>\n\u00a0<\/td>\n<\/tr>\n
\u00a0<\/td>\nvolumes<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\n- nome<\/span>: gcsfs-creds<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nsegredo<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nsecretName<\/span>: gcsfs-creds<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nitens<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\n- chave<\/span>: keyfile.json<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\ncaminho<\/span>: keyfile.json<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>
3. Executar comandos de implanta\u00e7\u00e3o<\/h3><\/div>
kubectl create -f deployments\/mlflow-serving\/mlflow_serving.yaml<\/p>\n<\/div>
4. Expor a implementa\u00e7\u00e3o para acesso externo<\/h3><\/div>
Com o comando a seguir, um novo recurso ser\u00e1 criado para redirecionar o tr\u00e1fego externo para nossa API.<\/p>\n
kubectl expose deployment mlflow-serving --port 8082 --type=\"LoadBalancer\"<\/span><\/pre>\n<\/div>
5. Verificar a implementa\u00e7\u00e3o e consultar o ponto de extremidade<\/h3><\/div>
Se a implanta\u00e7\u00e3o for bem-sucedida, o mlflow-serving dever\u00e1 ser UP e um pod dever\u00e1 estar dispon\u00edvel. O senhor pode verificar isso digitando\u00a0kubectl get pods<\/strong><\/em><\/p>\n<\/div>
<\/span><\/div>
A etapa final \u00e9 verificar o endere\u00e7o IP externo que foi atribu\u00eddo ao balanceador de carga que redireciona o tr\u00e1fego para nosso cont\u00eainer de API usando\u00a0kubectl get services<\/em><\/strong>\u00a0e testar a resposta a algumas consultas.<\/p>\n<\/div>
<\/span><\/div>
Um exemplo de c\u00f3digo para realizar essas consultas pode ser encontrado no seguinte\u00a0notebook<\/a>\u00a0no qual carregamos algumas linhas do data, selecionamos recursos, convertemos em formato JSON e os enviamos em uma solicita\u00e7\u00e3o de postagem para a API.
\nAgora, combinando as etapas realizadas em nossos artigos anterior e atual, nossa arquitetura final seria a seguinte:<\/p>\n<\/div>
<\/span><\/div>
Conclus\u00e3o<\/h2><\/div>
Neste artigo, mostramos que podemos implementar facilmente modelos de aprendizado de m\u00e1quina como um endpoint de API usando o m\u00f3dulo de servi\u00e7o Mlflow.<\/p>\n
Como o senhor pode notar, em nossa implanta\u00e7\u00e3o atual, apenas um pod foi criado para atender ao modelo. Embora isso funcione bem para aplicativos pequenos em que n\u00e3o esperamos v\u00e1rias consultas paralelas, pode rapidamente mostrar seus limites em outros, pois um \u00fanico pod tem recursos limitados. Al\u00e9m disso, dessa forma, o aplicativo n\u00e3o poder\u00e1 usar a capacidade de computa\u00e7\u00e3o de mais de um n\u00f3. No pr\u00f3ximo e \u00faltimo artigo desta s\u00e9rie, abordaremos a quest\u00e3o da escalabilidade. Primeiro, destacaremos os gargalos e tentaremos resolv\u00ea-los para obter um aplicativo dimension\u00e1vel que aproveite o poder do nosso cluster do Kubernetes.<\/p>\n<\/div><\/div><\/div><\/div><\/article>
<\/span><\/div>
M\u00e9dia Blog por Artefact.<\/h3><\/div>
Este artigo foi publicado inicialmente no Medium.com<\/strong>.
\nSiga-nos em nosso Medium Blog !<\/p>\n<\/div>
Leia nosso artigo<\/span><\/a><\/div><\/div><\/div><\/div><\/div><\/p>","protected":false},"excerpt":{"rendered":"
25 de outubro de 2021
\nEste artigo \u00e9 a segunda parte de uma s\u00e9rie na qual percorremos o processo de registro de modelos usando o Mlflow, servindo-os como um endpoint de API e, por fim, dimensionando-os de acordo com as necessidades do nosso aplicativo. Recomendamos que os senhores leiam nosso artigo anterior, no qual mostramos como implantar uma inst\u00e2ncia de rastreamento no k8s e verificar os pr\u00e9-requisitos pr\u00e1ticos (segredos, vari\u00e1veis de ambiente...), pois continuaremos a nos basear neles aqui.
\nA seguir, mostramos como servir um modelo de aprendizado de m\u00e1quina que j\u00e1 est\u00e1 registrado no Mlflow e exp\u00f4-lo como um endpoint de API no k8s.<\/p>","protected":false},"featured_media":65014,"parent":0,"template":"","meta":{"_acf_changed":false,"ep_exclude_from_search":false},"blog-category":[21939],"blog-language":[2991],"class_list":["post-63719","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-medium","blog-language-en"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/blog\/63719","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/types\/blog"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/media\/65014"}],"wp:attachment":[{"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/media?parent=63719"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/blog-category?post=63719"},{"taxonomy":"blog-language","embeddable":true,"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/blog-language?post=63719"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}