{"id":64449,"date":"2021-10-26T16:06:03","date_gmt":"2021-10-26T15:06:03","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=news&p=64449"},"modified":"2024-09-20T17:45:46","modified_gmt":"2024-09-20T16:45:46","slug":"serving-ml-models-at-scale-using-mlflow-on-kubernetes-part-2-2","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/br\/blog\/serving-ml-models-at-scale-using-mlflow-on-kubernetes-part-2-2\/","title":{"rendered":"Servindo modelos de ML em escala usando o Mlflow no Kubernetes - Parte 3"},"content":{"rendered":"

Autor<\/h2><\/div>\"Image\"

Kais Laribi<\/h3><\/div>

Cientista s\u00eanior do Data no Artefact<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Leia nosso artigo sobre<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Este artigo \u00e9 a terceira parte de uma s\u00e9rie na qual percorremos o processo de registro de modelos usando o Mlflow, servindo-os no mecanismo Kubernetes e, por fim, dimensionando-os de acordo com as necessidades do nosso aplicativo. Embora este artigo possa ser usado de forma independente para testar qualquer resposta de API, recomendamos a leitura de nossos dois artigos anteriores (parte 1 e parte 2) sobre como implantar uma inst\u00e2ncia de rastreamento e servir um modelo como uma API com o Mlflow. A seguir, estaremos interessados na quest\u00e3o do dimensionamento e a abordaremos com alguns experimentos para entender o comportamento do cluster do k8s e dar recomenda\u00e7\u00f5es sobre como lidar com altas cargas.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Parte 3 - Como lidar com altas cargas e tornar nosso aplicativo escalon\u00e1vel?<\/h1><\/div>

Introdu\u00e7\u00e3o<\/h2><\/div>

Em um cen\u00e1rio cl\u00e1ssico em que um modelo de aprendizado de m\u00e1quina \u00e9 implementado por tr\u00e1s de um aplicativo ou produto, v\u00e1rios usu\u00e1rios podem interagir com ele simultaneamente para gerar previs\u00f5es. Portanto, \u00e9 essencial analisar nossos recursos de infraestrutura e dimension\u00e1-los de acordo. Isso se torna particularmente interessante no que diz respeito ao Kubernetes, pois pode afetar as decis\u00f5es sobre o uso ou n\u00e3o do dimensionamento autom\u00e1tico, o n\u00famero m\u00e1ximo de n\u00f3s a ser considerado...<\/p>\n<\/div>

Nesse contexto, os testes de carga permitem simular v\u00e1rios n\u00fameros simult\u00e2neos ou incrementais de solicita\u00e7\u00f5es e monitorar o comportamento da infraestrutura (tempo de resposta, uso da CPU, uso da mem\u00f3ria...) para dimensionar corretamente os recursos e evitar gargalos. Esses testes ser\u00e3o realizados aqui usando uma ferramenta chamada Locust.<\/p>\n<\/div>

Prepara\u00e7\u00e3o do ambiente<\/h2><\/div>

Os requisitos para este Hands-on est\u00e3o detalhados no primeiro artigo desta s\u00e9rie, mas, como resumo, aqui est\u00e3o os principais elementos de que precisamos especificamente para esta parte, supondo que nosso modelo j\u00e1 esteja implantado como uma API em um cluster do Kubernetes (mlflow-k8s).<\/p>\n

Para esta parte da pr\u00e1tica, precisaremos do senhor:<\/p>\n<\/div>