{"id":64449,"date":"2021-10-26T16:06:03","date_gmt":"2021-10-26T15:06:03","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=news&p=64449"},"modified":"2024-09-20T17:45:46","modified_gmt":"2024-09-20T16:45:46","slug":"serving-ml-models-at-scale-using-mlflow-on-kubernetes-part-2-2","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/de\/blog\/serving-ml-models-at-scale-using-mlflow-on-kubernetes-part-2-2\/","title":{"rendered":"ML-Modelle in gro\u00dfem Ma\u00dfstab mit Mlflow auf Kubernetes bereitstellen - Teil 3"},"content":{"rendered":"

Autor<\/h2><\/div>\"Image\"

Kais Laribi<\/h3><\/div>

Leitender Data-Wissenschaftler bei Artefact<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Lesen Sie unseren Artikel \u00fcber<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Dieser Artikel ist der dritte Teil einer Serie, in der wir den Prozess der Protokollierung von Modellen mit Mlflow, deren Bereitstellung auf der Kubernetes-Engine und schlie\u00dflich deren Skalierung entsprechend den Anforderungen unserer Anwendung durchgehen. Obwohl dieser Artikel unabh\u00e4ngig davon verwendet werden kann, um eine beliebige API-Antwort zu testen, empfehlen wir die Lekt\u00fcre unserer beiden vorherigen Artikel (Teil1 und Teil2) \u00fcber die Bereitstellung einer Tracking-Instanz und die Bereitstellung eines Modells als API mit Mlflow. Im Folgenden werden wir uns mit dem Problem der Skalierbarkeit befassen und einige Experimente durchf\u00fchren, um das Verhalten des k8s-Clusters zu verstehen und Empfehlungen zu geben, wie Sie mit hohen Lasten umgehen k\u00f6nnen.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Teil 3 - Wie k\u00f6nnen wir hohe Lasten bew\u00e4ltigen und unsere Anwendung skalierbar machen?<\/h1><\/div>

Einf\u00fchrung<\/h2><\/div>

In einem klassischen Szenario, in dem ein maschinelles Lernmodell hinter einer Anwendung oder einem Produkt eingesetzt wird, k\u00f6nnten mehrere Benutzer gleichzeitig damit interagieren, um Vorhersagen zu erstellen. Daher ist es wichtig, unsere Infrastrukturkapazit\u00e4ten zu analysieren und sie entsprechend zu dimensionieren. Dies ist besonders interessant, wenn es um Kubernetes geht, denn es k\u00f6nnte sich auf die Entscheidung auswirken, ob Autoscaling verwendet werden soll oder nicht, auf die maximale Anzahl von Knoten, die...<\/p>\n<\/div>

In diesem Zusammenhang erm\u00f6glichen Lasttests die Simulation mehrerer gleichzeitiger oder inkrementeller Anfragen und die \u00dcberwachung des Verhaltens der Infrastruktur (Antwortzeit, CPU-Auslastung, Speicherverbrauch usw.), um Ressourcen richtig zu dimensionieren und Engp\u00e4sse zu vermeiden. Diese Tests werden hier mit einem Tool namens Locust durchgef\u00fchrt.<\/p>\n<\/div>

Vorbereitung der Umgebung<\/h2><\/div>

Die Anforderungen f\u00fcr dieses Hands-on sind im ersten Artikel dieser Serie detailliert beschrieben. Als Zusammenfassung finden Sie hier die wichtigsten Elemente, die wir speziell f\u00fcr diesen Teil ben\u00f6tigen, wobei wir davon ausgehen, dass unser Modell bereits als API auf einem Kubernetes-Cluster (mlflow-k8s) implementiert ist.<\/p>\n

F\u00fcr diesen Teil der praktischen \u00dcbung ben\u00f6tigen wir:<\/p>\n<\/div>