{"id":63719,"date":"2021-10-25T17:00:23","date_gmt":"2021-10-25T16:00:23","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=news&p=63719"},"modified":"2024-09-20T17:45:46","modified_gmt":"2024-09-20T16:45:46","slug":"serving-ml-models-at-scale-using-mlflow-on-kubernetes-part-2","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/de\/blog\/serving-ml-models-at-scale-using-mlflow-on-kubernetes-part-2\/","title":{"rendered":"ML-Modelle in gro\u00dfem Ma\u00dfstab mit Mlflow auf Kubernetes bereitstellen - Teil 2"},"content":{"rendered":"

Autor<\/h2><\/div>\"Image\"

Kais Laribi<\/h3><\/div>

Leitender Data-Wissenschaftler bei Artefact<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Lesen Sie unseren Artikel \u00fcber<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Dieser Artikel ist der zweite Teil einer Serie, in der wir den Prozess der Protokollierung von Modellen mit Hilfe von Mlflow durchlaufen, sie als API-Endpunkt bereitstellen und sie schlie\u00dflich entsprechend den Anforderungen unserer Anwendung skalieren. Wir empfehlen Ihnen, unseren vorherigen Artikel zu lesen, in dem wir zeigen, wie Sie eine Tracking-Instanz auf k8s bereitstellen und die praktischen Voraussetzungen (Geheimnisse, Umgebungsvariablen...) \u00fcberpr\u00fcfen, da wir hier weiter darauf aufbauen werden.
\nIm Folgenden zeigen wir, wie Sie ein bereits in Mlflow registriertes Modell f\u00fcr maschinelles Lernen als API-Endpunkt auf k8s bereitstellen.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Teil 2 - Wie kann ich ein Modell als API in Kubernetes bereitstellen?<\/h1><\/div>

Einf\u00fchrung<\/h2><\/div>

Es liegt auf der Hand, dass die Verfolgung und Optimierung der Leistung von Modellen ein wichtiger Bestandteil der Erstellung von ML-Modellen ist. Die n\u00e4chste Herausforderung besteht darin, sie in eine Anwendung oder ein Produkt zu integrieren, um ihre Vorhersagen zu nutzen. Dies nennen wir die Verwendung der Modelle oder Inferenz. Es gibt verschiedene Frameworks und Techniken, die uns dies erm\u00f6glichen. Wir werden uns hier jedoch auf Mlflow konzentrieren und zeigen, wie effizient und einfach das sein kann.<\/p>\n<\/div>

Erstellen und verteilen Sie das Serving Image<\/h2><\/div>

Die verschiedenen hier verwendeten Konfigurationsdateien sind Teil der\u00a0praktisches Repository<\/a>\u00a0Im Grunde genommen m\u00fcssen wir das:<\/p>\n<\/div>

1. Bereiten Sie das Mlflow-Serving-Docker-Image vor und pushen Sie es in die Container-Registry auf GCP.<\/h3><\/div>
cd mlflow-serving-beispiel<\/span>docker build --tag $\/mlflow_serving:v1 
--file docker_mlflow_serving .<\/span>docker push $\/mlflow_serving:v1<\/span><\/pre>\n<\/div>
2. Bereiten Sie die Kubernetes-Bereitstellungsdatei vor<\/h3><\/div>
indem Sie den Container-Abschnitt \u00e4ndern und ihn dem\u00a0Docker-Image<\/strong>\u00a0die zuvor an GCR gesendet wurden,\u00a0der Modellpfad<\/strong>\u00a0und\u00a0den Serving Port.<\/strong><\/p>\n<\/div>
\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
apiVersion<\/span>: apps\/v1<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nfreundlich<\/span>: Einsatz<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nmetadata<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nName<\/span>: mlflow-serving<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nEtiketten<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\napp<\/span>: serve-ML-model-mlflow<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\n\u00a0<\/td>\n<\/tr>\n
\u00a0<\/td>\nspec<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nRepliken<\/span>: 1<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nSelektor<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nmatchLabels<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\napp<\/span>: mlflow-serving<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nVorlage<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nmetadata<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nEtiketten<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\napp<\/span>: mlflow-serving<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\n\u00a0<\/td>\n<\/tr>\n
\u00a0<\/td>\nspec<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nContainer<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\n\u2013 Name<\/span>: mlflow-serving<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nBild<\/span>: GCR_REPO\/mlflow_serving:v1 <\/span>#auschen Sie hier<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nenv<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\n\u2013 Name<\/span>: MODELL_URI<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nWert<\/span>: \u201c<\/span>gs:\/\/..\/artifacts\/..\/..\/artifacts\/..\u201c<\/span><\/span> #auschen Sie hier<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\n\u2013 Name<\/span>: SERVING_PORT<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nWert<\/span>: \u201c<\/span>8082\u201c<\/span><\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\n\u2013 Name<\/span>: GOOGLE_APPLICATION_CREDENTIALS<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nWert<\/span>: \u201c<\/span>\/etc\/geheimnisse\/keyfile.json\u201c<\/span><\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nvolumeMounts<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\n\u2013 Name<\/span>: gcsfs-creds<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nmountPfad<\/span>: \u201c<\/span>\/etc\/secrets\u201c<\/span><\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nreadOnly<\/span>: wahr<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nRessourcen<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nAnfragen<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\ncpu<\/span>: \u201c<\/span>1000m\u201c<\/span><\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\n\u00a0<\/td>\n<\/tr>\n
\u00a0<\/td>\n\u00a0<\/td>\n<\/tr>\n
\u00a0<\/td>\nB\u00e4nde<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\n\u2013 Name<\/span>: gcsfs-creds<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nGeheimnis<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\nsecretName<\/span>: gcsfs-creds<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nArtikel<\/span>:<\/td>\n<\/tr>\n
\u00a0<\/td>\n\u2013 Schl\u00fcssel<\/span>: keyfile.json<\/span><\/td>\n<\/tr>\n
\u00a0<\/td>\nPfad<\/span>: keyfile.json<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>
3. Einsatzbefehle ausf\u00fchren<\/h3><\/div>
kubectl create -f Bereitstellungen\/mlflow-serving\/mlflow_serving.yaml<\/p>\n<\/div>
4. Die Bereitstellung f\u00fcr den externen Zugriff freigeben<\/h3><\/div>
Mit dem folgenden Befehl wird eine neue Ressource erstellt, um den externen Datenverkehr auf unsere API umzuleiten.<\/p>\n
kubectl expose deployment mlflow-serving --port 8082 --type=\"LoadBalancer\"<\/span><\/pre>\n<\/div>
5. \u00dcberpr\u00fcfen Sie die Bereitstellung und fragen Sie den Endpunkt ab<\/h3><\/div>
Wenn die Bereitstellung erfolgreich war, sollte mlflow-serving UP sein und ein Pod sollte verf\u00fcgbar sein. Sie k\u00f6nnen dies \u00fcberpr\u00fcfen, indem Sie Folgendes eingeben\u00a0kubectl get pods<\/strong><\/em><\/p>\n<\/div>
<\/span><\/div>
Der letzte Schritt besteht darin, die externe IP-Adresse zu \u00fcberpr\u00fcfen, die dem Load Balancer zugewiesen wurde, der den Verkehr zu unserem API-Container umleitet.\u00a0kubectl get Dienste<\/em><\/strong>\u00a0und testen Sie die Antwort auf ein paar Abfragen.<\/p>\n<\/div>
<\/span><\/div>
Ein Beispielcode zur Durchf\u00fchrung dieser Abfragen finden Sie im Folgenden\u00a0Notizbuch<\/a>\u00a0in dem wir einige Zeilen von data laden, Merkmale ausw\u00e4hlen, sie in das JSON-Format konvertieren und sie in einer Post-Anfrage an die API senden.
\nWenn Sie nun die Schritte aus dem vorherigen und dem aktuellen Artikel kombinieren, w\u00fcrde unsere endg\u00fcltige Architektur wie folgt aussehen:<\/p>\n<\/div>
<\/span><\/div>
Fazit<\/h2><\/div>
In diesem Artikel haben wir gezeigt, dass wir Modelle f\u00fcr maschinelles Lernen mithilfe des Mlflow-Serving-Moduls ganz einfach als API-Endpunkt bereitstellen k\u00f6nnen.<\/p>\n
Wie Sie vielleicht bemerken, wurde in unserem aktuellen Einsatz nur ein Pod erstellt, um das Modell zu bedienen. Das funktioniert zwar gut f\u00fcr kleine Anwendungen, bei denen wir nicht mit mehreren parallelen Abfragen rechnen, k\u00f6nnte aber bei anderen Anwendungen schnell an seine Grenzen sto\u00dfen, da ein einzelner Pod nur \u00fcber begrenzte Ressourcen verf\u00fcgt. Au\u00dferdem kann die Anwendung auf diese Weise nicht mehr als die Rechenleistung eines Knotens nutzen. Im folgenden und letzten Artikel dieser Serie werden wir uns mit dem Problem der Skalierbarkeit befassen. Wir werden zun\u00e4chst die Engp\u00e4sse aufzeigen und versuchen, sie zu l\u00f6sen, um eine skalierbare Anwendung zu erhalten, die die Leistung unseres Kubernetes-Clusters nutzt.<\/p>\n<\/div><\/div><\/div><\/div><\/article>
<\/span><\/div>
Mittel Blog von Artefact.<\/h3><\/div>
Dieser Artikel wurde urspr\u00fcnglich ver\u00f6ffentlicht auf Medium.com<\/strong>.
\nFolgen Sie uns auf unserem Medium Blog !<\/p>\n<\/div>
Unseren Artikel lesen<\/span><\/a><\/div><\/div><\/div><\/div><\/div><\/p>","protected":false},"excerpt":{"rendered":"
25. Oktober 2021
\nDieser Artikel ist der zweite Teil einer Serie, in der wir den Prozess der Protokollierung von Modellen mit Hilfe von Mlflow durchlaufen, sie als API-Endpunkt bereitstellen und sie schlie\u00dflich entsprechend den Anforderungen unserer Anwendung skalieren. Wir empfehlen Ihnen, unseren vorherigen Artikel zu lesen, in dem wir zeigen, wie Sie eine Tracking-Instanz auf k8s bereitstellen und die praktischen Voraussetzungen (Geheimnisse, Umgebungsvariablen...) \u00fcberpr\u00fcfen, da wir hier weiter darauf aufbauen werden.
\nIm Folgenden zeigen wir, wie Sie ein bereits in Mlflow registriertes Modell f\u00fcr maschinelles Lernen als API-Endpunkt auf k8s bereitstellen.<\/p>","protected":false},"featured_media":65014,"parent":0,"template":"","meta":{"_acf_changed":false,"ep_exclude_from_search":false},"blog-category":[21939],"blog-language":[2991],"class_list":["post-63719","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-medium","blog-language-en"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog\/63719","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/types\/blog"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/media\/65014"}],"wp:attachment":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/media?parent=63719"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog-category?post=63719"},{"taxonomy":"blog-language","embeddable":true,"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog-language?post=63719"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}