{"id":68695,"date":"2023-01-23T10:45:25","date_gmt":"2023-01-23T10:45:25","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=blog&p=68695"},"modified":"2024-09-20T17:45:54","modified_gmt":"2024-09-20T16:45:54","slug":"all-you-need-to-know-to-get-started-with-vertex-ai-pipelines","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/de\/blog\/all-you-need-to-know-to-get-started-with-vertex-ai-pipelines\/","title":{"rendered":"Alles, was Sie wissen m\u00fcssen, um mit Vertex AI Pipelines loszulegen"},"content":{"rendered":"

Autor<\/h2><\/div>\"Image\"

\n
Yague Ndoye Thiam<\/div>\n<\/div><\/h3><\/div>

Artefact alumni (ehemaliger Ingenieur f\u00fcr maschinelles Lernen bei Artefact Frankreich)<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Lesen Sie unseren Artikel \u00fcber<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

In diesem Artikel stellen wir Ihnen ein Tool vor, das unsere Erfahrungen mit Vertex AI Pipelines in einem Produktionsprojekt praktisch demonstriert.
\nEin durchg\u00e4ngiges Tutorial zum Trainieren und Bereitstellen eines benutzerdefinierten ML-Modells in der Produktion unter Verwendung von Vertex AI Pipelines mit Kubeflow v2. Wenn Sie verwirrt sind, wie Sie Vertex AI angehen sollen, werden Sie Ihren Weg finden, denn alles in diesem Tutorial basiert auf praktischen Erfahrungen. Es gibt viele Beispiele f\u00fcr Pipelines, die zeigen, wie Sie bestimmte coole Funktionen von Vertex AI und Kubeflow nutzen k\u00f6nnen. Au\u00dferdem finden Sie ein Makefile, das Ihnen hilft, wichtige Rezepte auszuf\u00fchren und viel Zeit zu sparen, um Ihr Modell zu erstellen und es in Produktion zu bringen.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Pipelines in ML k\u00f6nnen als Sets von miteinander verbundenen Auftr\u00e4gen definiert werden, die komplette oder bestimmte Teile des ML-Workflows ausf\u00fchren (z.B. Trainingspipeline).<\/p>\n<\/div>

\"example<\/span><\/div>

Beispiel f\u00fcr ein einfaches Trainingsprogramm<\/em><\/p>\n<\/div>

\"example<\/span><\/div>

Beispiel f\u00fcr eine Trainings-Pipeline auf Vertex AI Pipelines mit Kubeflow<\/em><\/p>\n<\/div>

Richtig konzipiert, haben Pipelines den Vorteil, dass sie reproduzierbar und in hohem Ma\u00dfe anpassbar sind. Diese beiden Eigenschaften machen das Experimentieren damit und den Einsatz in der Produktion zu einer relativ einfachen Aufgabe. Die Verwendung von Vertex AI Pipelines zusammen mit Kubeflow hat uns geholfen, schnell benutzerdefinierte Pipelines zu entwerfen und auszuf\u00fchren, die die oben genannten Eigenschaften aufweisen. Die Beispiele f\u00fcr Pipelines, die wir im Starter Kit zeigen, sind sehr repr\u00e4sentativ f\u00fcr die Arbeit an einem ML-Projekt, das in der Produktion eingesetzt werden soll. Wir haben auch eine Handvoll Tipps und automatisierte Skripte zur Verf\u00fcgung gestellt, damit Sie sich auf den Umgang mit Vertex AI konzentrieren k\u00f6nnen.<\/p>\n

Als ich anfing, Vertex AI Pipelines zu verwenden, war ich ziemlich \u00fcberw\u00e4ltigt von all den M\u00f6glichkeiten, genau dieselbe Aufgabe zu erledigen. Ich war mir nicht ganz sicher, wie ich meine Pipelines am besten konstruieren sollte. Nach ein paar Monaten hatten wir unseren Weg gefunden und einige \u00dcberzeugungen gefestigt, zumindest was den wichtigsten Aspekt der Verwaltung des Lebenszyklus eines Projekts in der Produktion mit dieser Technologie angeht.<\/p>\n

Wie bereits erw\u00e4hnt, m\u00f6chten wir Ihnen in diesem Artikel ein Starter-Kit vorstellen, das unsere Erfahrungen und das, was wir bei der Verwendung von Vertex AI Pipelines gelernt haben, in praktischen Methoden zeigt. Wir hoffen, dass dies Neueinsteigern hilft, dieses leistungsstarke Tool schnell zu verstehen, ohne den hohen Einstiegspreis zu zahlen.<\/p>\n

In den n\u00e4chsten Abschnitten werden wir die interessantesten Konzepte\/Funktionen vorstellen, die wir mit Vertex AI Pipelines gefunden haben. Zur Veranschaulichung verwenden wir auch ein Spielzeug-Prognoseprojekt (den M5-Wettbewerb). Wir werden uns absichtlich nicht auf die Modellierung konzentrieren, sondern stattdessen die verschiedenen Schritte hervorheben, die erforderlich sind, um ein Modell in der Produktion zu operationalisieren.<\/p>\n<\/div>

Erstellen Sie ein benutzerdefiniertes Basisbild und verwenden Sie es als Grundlage f\u00fcr Ihre Komponenten<\/h2><\/div>

Wenn Sie schon einmal mit Kubeflow-Pipelines gearbeitet haben, stellen Sie sich vielleicht die Frage, wann Sie containerbasierte Komponenten und wann funktionsbasierte Komponenten verwenden sollten. Beide Optionen haben viele Vor- und Nachteile, aber es gibt auch einen Mittelweg, der gefunden werden kann. Containerbasierte Komponenten eignen sich besser f\u00fcr komplexe Aufgaben, bei denen viele Code-Abh\u00e4ngigkeiten bestehen, als funktionsbasierte Komponenten, die alle Code-Abh\u00e4ngigkeiten innerhalb einer Funktion enthalten und in der Regel einfacher sind. Letztere laufen schneller, da wir nicht jedes Mal, wenn wir unseren Code bearbeiten, ein Image erstellen und bereitstellen m\u00fcssen. Bei funktionsbasierten Komponenten wird ein Standard-Python 3.7-Image verwendet, um Ihre Funktion auszuf\u00fchren.<\/p>\n

Unsere L\u00f6sung, um sowohl komplexe als auch einfache Komponenten auf die gleiche Weise auszuf\u00fchren, besteht darin, mit einer \u00fcberschriebenen Version des Standard-Basis-Images zu arbeiten. Innerhalb dieses ge\u00e4nderten Basis-Images haben wir alle unsere Codes als Paket installiert. Dann importieren wir diese Funktionen in funktionsbasierte Komponenten, wie Sie es zum Beispiel bei pandas tun w\u00fcrden. Wir haben den Vorteil, dass wir komplexe und einfache Aufgaben auf die gleiche Weise ausf\u00fchren und die Zeit f\u00fcr die Erstellung des Images auf nur 1 (das Basisimage) reduzieren k\u00f6nnen.<\/p>\n

Wir organisieren auch unsere\u00a0Konfigurationsdateien<\/strong>\u00a0auf eine Weise, die es einfach macht, die Eingaben Ihrer Komponenten und Pipelines anzupassen.<\/p>\n<\/div>

\"Using<\/span><\/div>

Verwendung eines \u00fcberschriebenen Basis-Images als einzige Grundlage f\u00fcr alle Ihre Komponenten<\/em><\/p>\n<\/div>

Die Parallelisierung von Teilen Ihrer Pipelines ist so einfach wie das Schreiben einer for-Schleife<\/h2><\/div>

Wenn wir mit ML experimentieren, m\u00fcssen wir in der Regel viele Iterationen eines einfachen Trainings-Workflows durchf\u00fchren, entweder um einen Hyperparameter zu optimieren oder um mehrere Modelle zu erstellen (z.B. ein Modell nach Produktkategorie).<\/p>\n

Um dies optimal zu tun, m\u00fcssten Sie die verschiedenen Trainingsabl\u00e4ufe parallelisieren, um Zeit zu gewinnen und die Ressourcen zu optimieren. Mit Vertex Pipelines und Kubefkow ist der Aufwand von vornherein minimal; es kostet Sie nur, eine for-Schleife zu schreiben. Und beim Kompilieren Ihrer Pipeline findet Kubeflow heraus, welche Schritte und\/oder Gruppen von Schritten parallel ausgef\u00fchrt werden k\u00f6nnen und welche nacheinander erfolgen m\u00fcssen.<\/p>\n<\/div>

<\/span><\/div>

Beispiel f\u00fcr eine Pipeline mit parallel laufenden Teilen<\/em><\/p>\n<\/div>

Bedingter Einsatz f\u00fcr den nahtlosen Betrieb Ihres ML-Modells<\/h2><\/div>

Mit kfp.dsl.condition k\u00f6nnen Sie ganz einfach ein trainiertes Modell bereitstellen und es sp\u00e4ter mit etwas Code-Logik wiederverwenden. Wenn Sie mit vielen Einstellungen experimentieren und hoffen, dass Sie die Dinge unter bestimmten Bedingungen nahtlos in die Produktion \u00fcberf\u00fchren k\u00f6nnen, ist diese Funktionalit\u00e4t von Kubeflow sehr n\u00fctzlich. Kombinieren Sie sie mit einem gro\u00dfartigen CICD, und Sie werden Ihren ML-Modell-Lebenszyklus ohne Probleme durchf\u00fchren k\u00f6nnen.<\/p>\n<\/div>

<\/span><\/div>

Beispiel f\u00fcr einen bedingten Einsatz<\/em><\/p>\n<\/div>

Zus\u00e4tzlich zu diesen Funktionen (die nicht ersch\u00f6pfend sind), haben Sie\u00a0Reproduzierbarkeit<\/strong> , R\u00fcckverfolgbarkeit<\/strong>, Verwaltbarkeit<\/strong>\u00a0und nicht zuletzt eine gro\u00dfartige Benutzeroberfl\u00e4che, um alles \u00fcber die Vertex AI-Schnittstelle auf GCP zu \u00fcberwachen.<\/p>\n<\/div>

Fazit<\/h2><\/div>

Heutzutage wird erwartet, dass viele ML-Modelle in der Produktion laufen. Wenn Sie also auf GCP arbeiten und planen, Vertex AI zu verwenden, hoffen wir, dass dieses Starter Kit Ihnen eine angenehme Reise mit dem Tool erm\u00f6glicht. Sie sollten es sich auch ansehen, wenn Sie Ihre Projekte mit dem Ziel beginnen, sie so schnell wie m\u00f6glich n\u00fctzlich zu machen, d.h. sie in der Produktion einzusetzen.<\/p>\n

Vielen Dank an Luca Serra, Jeffrey Kayne und Robin Doumerc (Artefact<\/a>), die beim Bau dieses Starterkits geholfen haben, aber auch Maxime Lutel, der die Modellierung f\u00fcr das von uns verwendete Spielzeugprojekt \u00fcbernommen hat.<\/p>\n

Wenn Sie die n\u00e4chste Stufe erreichen m\u00f6chten, finden Sie in der Dokumentation von GCP eine Anleitung dazu:<\/p>\n<\/div>