{"id":63719,"date":"2021-10-25T17:00:23","date_gmt":"2021-10-25T16:00:23","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=news&p=63719"},"modified":"2024-09-20T17:45:46","modified_gmt":"2024-09-20T16:45:46","slug":"serving-ml-models-at-scale-using-mlflow-on-kubernetes-part-2","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/fr\/blog\/serving-ml-models-at-scale-using-mlflow-on-kubernetes-part-2\/","title":{"rendered":"Servir des mod\u00e8les ML \u00e0 l'\u00e9chelle en utilisant Mlflow sur Kubernetes - Partie 2"},"content":{"rendered":"

Auteur<\/h2><\/div>\"Image\"

Kais Laribi<\/h3><\/div>

Scientifique senior Data \u00e0 Artefact<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Lisez notre article sur<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Cet article est la deuxi\u00e8me partie d'une s\u00e9rie dans laquelle nous passons en revue le processus d'enregistrement des mod\u00e8les \u00e0 l'aide de Mlflow, de les servir en tant que point de terminaison d'API, et enfin de les mettre \u00e0 l'\u00e9chelle en fonction des besoins de notre application. Nous vous encourageons \u00e0 lire notre article pr\u00e9c\u00e9dent dans lequel nous montrons comment d\u00e9ployer une instance de tracking sur k8s et v\u00e9rifier les pr\u00e9requis pratiques (secrets, variables d'environnement...) car nous continuerons \u00e0 nous appuyer sur eux ici.
\nDans ce qui suit, nous montrons comment servir un mod\u00e8le d'apprentissage automatique qui est d\u00e9j\u00e0 enregistr\u00e9 dans Mlflow et l'exposer en tant que point d'extr\u00e9mit\u00e9 d'API sur k8s.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Partie 2- Comment servir un mod\u00e8le en tant qu'API sur Kubernetes ?<\/h1><\/div>

Introduction<\/h2><\/div>

Il est \u00e9vident que le suivi et l'optimisation des performances des mod\u00e8les constituent une partie importante de la cr\u00e9ation de mod\u00e8les de ML. Une fois ces t\u00e2ches accomplies, le d\u00e9fi suivant consiste \u00e0 les int\u00e9grer dans une application ou un produit afin d'utiliser leurs pr\u00e9dictions. C'est ce que nous appelons le service des mod\u00e8les ou l'inf\u00e9rence. Il existe diff\u00e9rents cadres et techniques qui nous permettent de le faire. Cependant, nous nous concentrerons ici sur Mlflow et nous montrerons \u00e0 quel point cela peut \u00eatre efficace et simple.<\/p>\n<\/div>

Construire et d\u00e9ployer l'image de service<\/h2><\/div>

Les diff\u00e9rents fichiers de configuration utilis\u00e9s ici font partie de l'application\u00a0d\u00e9p\u00f4t pratique<\/a>\u00a0Fondamentalement, nous devons :<\/p>\n<\/div>

1. Pr\u00e9parez l'image docker du serveur Mlflow et mettez-la dans le registre des conteneurs sur GCP.<\/h3><\/div>
cd mlflow-serving-example<\/span>docker build --tag $\/mlflow_serving:v1 
--file docker_mlflow_serving .<\/span>docker push $\/mlflow_serving:v1<\/span><\/pre>\n<\/div>
2. Pr\u00e9parez le fichier de d\u00e9ploiement Kubernetes<\/h3><\/div>
en modifiant la section du conteneur et en l'associant \u00e0 l'\u00e9l\u00e9ment\u00a0image docker<\/strong>\u00a0pr\u00e9c\u00e9demment transmis au GCR,\u00a0le chemin du mod\u00e8le<\/strong>\u00a0et\u00a0le port de desserte.<\/strong><\/p>\n<\/div>
\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
apiVersion<\/span>: apps\/v1<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\ntype<\/span>: D\u00e9ploiement<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nmetadata<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nnom<\/span>: mlflow-serving<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\n\u00e9tiquettes<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\napp<\/span>: serve-ML-model-mlflow<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\n\u00a0<\/td>\n<\/tr>\n
\u00a0<\/td>\nsp\u00e9cimen<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nr\u00e9pliques<\/span>: 1<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\ns\u00e9lecteur<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nmatchLabels<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\napp<\/span>: mlflow-serving<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nmod\u00e8le<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nmetadata<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\n\u00e9tiquettes<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\napp<\/span>: mlflow-serving<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\n\u00a0<\/td>\n<\/tr>\n
\u00a0<\/td>\nsp\u00e9cimen<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nconteneurs<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\n\u2013 nom<\/span>: mlflow-serving<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nimage<\/span>: GCR_REPO\/mlflow_serving:v1 <\/span>1TP45Changer ici<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nenv<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\n\u2013 nom<\/span>: MODEL_URI<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nvaleur<\/span>: \u201c<\/span>gs:\/\/..\/artifacts\/..\/..\/artifacts\/..\u201c<\/span><\/span> 1TP45Changer ici<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\n\u2013 nom<\/span>: SERVING_PORT<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nvaleur<\/span>: \u201c<\/span>8082\u201c<\/span><\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\n\u2013 nom<\/span>: IDENTIFIANTS GOOGLE_APPLICATION_CREDENTIALS<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nvaleur<\/span>: \u201c<\/span>\/etc\/secrets\/keyfile.json\u201c<\/span><\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nvolumeMounts<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\n\u2013 nom<\/span>: gcsfs-creds<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nmountPath<\/span>: \u201c<\/span>\/etc\/secrets\u201c<\/span><\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nreadOnly<\/span>: vrai<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nressources<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\ndemandes<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\ncpu<\/span>: \u201c<\/span>1000m\u201c<\/span><\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\n\u00a0<\/td>\n<\/tr>\n
\u00a0<\/td>\n\u00a0<\/td>\n<\/tr>\n
\u00a0<\/td>\nvolumes<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\n\u2013 nom<\/span>: gcsfs-creds<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nsecret<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nNomSecret<\/span>: gcsfs-creds<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\narticles<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\n\u2013 cl\u00e9<\/span>: fichier-cl\u00e9.json<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nchemin<\/span>: fichier-cl\u00e9.json<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>
3. Ex\u00e9cutez les commandes de d\u00e9ploiement<\/h3><\/div>
kubectl create -f deployments\/mlflow-serving\/mlflow_serving.yaml<\/p>\n<\/div>
4. Exposer le d\u00e9ploiement pour un acc\u00e8s externe<\/h3><\/div>
Avec la commande suivante, une nouvelle ressource sera cr\u00e9\u00e9e pour rediriger le trafic externe vers notre API.<\/p>\n
kubectl expose deployment mlflow-serving --port 8082 --type=\"LoadBalancer\" (\u00e9quilibreur de charge)\"<\/span><\/pre>\n<\/div>
5. V\u00e9rifiez le d\u00e9ploiement et interrogez le point final<\/h3><\/div>
Si le d\u00e9ploiement est r\u00e9ussi, mlflow-serving devrait \u00eatre UP et un pod devrait \u00eatre disponible. Vous pouvez le v\u00e9rifier en tapant\u00a0kubectl get pods<\/strong><\/em><\/p>\n<\/div>
<\/span><\/div>
La derni\u00e8re \u00e9tape consiste \u00e0 v\u00e9rifier l'adresse IP externe qui a \u00e9t\u00e9 attribu\u00e9e \u00e0 l'\u00e9quilibreur de charge redirigeant le trafic vers notre conteneur API \u00e0 l'aide de la commande\u00a0kubectl get services<\/em><\/strong>\u00a0et testez la r\u00e9ponse \u00e0 quelques requ\u00eates.<\/p>\n<\/div>
<\/span><\/div>
Un exemple de code permettant d'effectuer ces requ\u00eates peut \u00eatre trouv\u00e9 dans ce qui suit\u00a0carnet de notes<\/a>\u00a0dans laquelle nous chargeons quelques lignes de data, s\u00e9lectionnons des caract\u00e9ristiques, les convertissons au format JSON et les envoyons \u00e0 l'API dans une requ\u00eate post.
\nMaintenant, en combinant les \u00e9tapes r\u00e9alis\u00e9es dans nos articles pr\u00e9c\u00e9dent et actuel, notre architecture finale ressemblerait \u00e0 ce qui suit :<\/p>\n<\/div>
<\/span><\/div>
Conclusion<\/h2><\/div>
Dans cet article, nous avons montr\u00e9 que nous pouvons facilement d\u00e9ployer des mod\u00e8les d'apprentissage automatique en tant que point de terminaison d'API \u00e0 l'aide du module de service Mlflow.<\/p>\n
Comme vous pouvez le remarquer, dans notre d\u00e9ploiement actuel, un seul pod a \u00e9t\u00e9 cr\u00e9\u00e9 pour servir le mod\u00e8le. Bien que cela fonctionne bien pour les petites applications o\u00f9 nous n'attendons pas de multiples requ\u00eates parall\u00e8les, cela pourrait rapidement montrer ses limites pour d'autres applications car un seul pod a des ressources limit\u00e9es. De plus, de cette mani\u00e8re, l'application ne pourra pas utiliser la puissance de calcul de plus d'un n\u0153ud. Dans le prochain et dernier article de cette s\u00e9rie, nous aborderons la question de l'\u00e9volutivit\u00e9. Nous allons d'abord mettre en \u00e9vidence les goulets d'\u00e9tranglement et tenter de les r\u00e9soudre afin d'obtenir une application \u00e9volutive qui tire parti de la puissance de notre cluster Kubernetes.<\/p>\n<\/div><\/div><\/div><\/div><\/article>
<\/span><\/div>
Moyen Blog par Artefact.<\/h3><\/div>
Cet article a \u00e9t\u00e9 initialement publi\u00e9 sur Medium.com<\/strong>.
\nSuivez-nous sur notre Medium Blog !<\/p>\n<\/div>
Lire notre article<\/span><\/a><\/div><\/div><\/div><\/div><\/div><\/p>","protected":false},"excerpt":{"rendered":"
25 octobre 2021
\nCet article est la deuxi\u00e8me partie d'une s\u00e9rie dans laquelle nous passons en revue le processus d'enregistrement des mod\u00e8les \u00e0 l'aide de Mlflow, de les servir en tant que point de terminaison d'API, et enfin de les mettre \u00e0 l'\u00e9chelle en fonction des besoins de notre application. Nous vous encourageons \u00e0 lire notre article pr\u00e9c\u00e9dent dans lequel nous montrons comment d\u00e9ployer une instance de tracking sur k8s et v\u00e9rifier les pr\u00e9requis pratiques (secrets, variables d'environnement...) car nous continuerons \u00e0 nous appuyer sur eux ici.
\nDans ce qui suit, nous montrons comment servir un mod\u00e8le d'apprentissage automatique qui est d\u00e9j\u00e0 enregistr\u00e9 dans Mlflow et l'exposer en tant que point d'extr\u00e9mit\u00e9 d'API sur k8s.<\/p>","protected":false},"featured_media":65014,"parent":0,"template":"","meta":{"_acf_changed":false,"ep_exclude_from_search":false},"blog-category":[21939],"blog-language":[2991],"class_list":["post-63719","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-medium","blog-language-en"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/blog\/63719","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/types\/blog"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/media\/65014"}],"wp:attachment":[{"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/media?parent=63719"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/blog-category?post=63719"},{"taxonomy":"blog-language","embeddable":true,"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/blog-language?post=63719"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}