{"id":68695,"date":"2023-01-23T10:45:25","date_gmt":"2023-01-23T10:45:25","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=blog&p=68695"},"modified":"2024-09-20T17:45:54","modified_gmt":"2024-09-20T16:45:54","slug":"all-you-need-to-know-to-get-started-with-vertex-ai-pipelines","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/fr\/blog\/all-you-need-to-know-to-get-started-with-vertex-ai-pipelines\/","title":{"rendered":"Tout ce que vous devez savoir pour d\u00e9marrer avec Vertex AI Pipelines"},"content":{"rendered":"

Auteur<\/h2><\/div>\"Image\"

\n
Yague Ndoye Thiam<\/div>\n<\/div><\/h3><\/div>

Artefact alumni (Ex Ing\u00e9nieur Machine Learning chez Artefact France)<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Lisez notre article sur<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Dans cet article, nous pr\u00e9senterons un outil qui d\u00e9montre, de mani\u00e8re pratique, notre exp\u00e9rience de l'utilisation de Vertex AI Pipelines dans un projet en production.
\nUn tutoriel de bout en bout sur la fa\u00e7on d'entra\u00eener et de d\u00e9ployer un mod\u00e8le ML personnalis\u00e9 en production en utilisant les pipelines Vertex AI avec Kubeflow v2. Si vous \u00eates confus sur la fa\u00e7on d'aborder Vertex AI, vous serez en mesure de trouver votre chemin car tout dans ce tutoriel est bas\u00e9 sur l'exp\u00e9rience de la vie r\u00e9elle. Il y a de nombreux exemples de pipelines qui illustrent comment utiliser certaines fonctionnalit\u00e9s de Vertex AI et de Kubeflow. Vous trouverez \u00e9galement un fichier makefile pour vous aider \u00e0 ex\u00e9cuter des recettes importantes et vous faire gagner beaucoup de temps pour construire votre mod\u00e8le et le faire fonctionner en production.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Les pipelines de ML peuvent \u00eatre d\u00e9finis comme des ensembles de t\u00e2ches connect\u00e9es qui ex\u00e9cutent des parties compl\u00e8tes ou sp\u00e9cifiques du flux de travail de ML (ex : pipeline de formation).<\/p>\n<\/div>

\"example<\/span><\/div>

exemple d'une fili\u00e8re de formation simple<\/em><\/p>\n<\/div>

\"example<\/span><\/div>

exemple d'un pipeline de formation sur Vertex AI Pipelines utilisant Kubeflow<\/em><\/p>\n<\/div>

Con\u00e7us correctement, les pipelines ont l'avantage d'\u00eatre reproductibles et hautement personnalisables. Ces deux propri\u00e9t\u00e9s rendent l'exp\u00e9rimentation et le d\u00e9ploiement en production relativement faciles. L'utilisation de Vertex AI Pipelines avec Kubeflow nous a permis de concevoir et d'ex\u00e9cuter rapidement des pipelines personnalis\u00e9s ayant les propri\u00e9t\u00e9s mentionn\u00e9es ci-dessus. Les exemples de pipelines que nous illustrons dans le kit de d\u00e9marrage sont tr\u00e8s repr\u00e9sentatifs de ce que l'on peut rencontrer lorsqu'on travaille sur un projet de ML qui doit \u00eatre d\u00e9ploy\u00e9 en production. Nous avons \u00e9galement partag\u00e9 une poign\u00e9e d'astuces et de scripts automatis\u00e9s afin que vous puissiez vous concentrer sur la prise en main de Vertex AI.<\/p>\n

Lorsque j'ai commenc\u00e9 \u00e0 utiliser Vertex AI Pipelines, j'ai \u00e9t\u00e9 submerg\u00e9 par toutes les possibilit\u00e9s d'effectuer exactement la m\u00eame t\u00e2che. Je n'\u00e9tais pas tout \u00e0 fait s\u00fbr des meilleurs choix \u00e0 faire pour construire mes pipelines. Apr\u00e8s quelques mois, nous avons trouv\u00e9 notre chemin et forg\u00e9 quelques convictions, au moins sur l'aspect le plus important de la gestion du cycle de vie d'un projet en production avec cette technologie.<\/p>\n

Comme indiqu\u00e9 pr\u00e9c\u00e9demment, cet article vise \u00e0 pr\u00e9senter un kit de d\u00e9marrage qui montre, par des m\u00e9thodes pratiques, notre exp\u00e9rience et ce que nous avons appris en utilisant Vertex AI Pipelines. Nous esp\u00e9rons que cela aidera les d\u00e9butants \u00e0 se familiariser rapidement avec cet outil puissant sans en payer le prix d'entr\u00e9e \u00e9lev\u00e9.<\/p>\n

Dans les sections suivantes, nous pr\u00e9senterons les concepts\/caract\u00e9ristiques les plus int\u00e9ressants que nous avons trouv\u00e9s en utilisant les pipelines d'IA de Vertex. Nous utiliserons \u00e9galement un projet de pr\u00e9vision jouet (le concours M5) pour illustrer le tout. Nous ne nous concentrerons volontairement pas sur la partie mod\u00e9lisation, mais nous mettrons plut\u00f4t l'accent sur les diff\u00e9rentes \u00e9tapes n\u00e9cessaires \u00e0 l'op\u00e9rationnalisation d'un mod\u00e8le en production.<\/p>\n<\/div>

Cr\u00e9ez une image de base personnalis\u00e9e et utilisez-la comme base pour vos composants.<\/h2><\/div>

Si vous avez d\u00e9j\u00e0 travaill\u00e9 avec des pipelines Kubeflow, une question que vous pourriez vous poser est de savoir quand utiliser des composants bas\u00e9s sur des conteneurs ou des composants bas\u00e9s sur des fonctions. Il y a beaucoup d'avantages et d'inconv\u00e9nients dans les deux options, n\u00e9anmoins, il y a aussi un milieu qui peut \u00eatre trouv\u00e9. Les composants bas\u00e9s sur des conteneurs sont plus adapt\u00e9s aux t\u00e2ches complexes o\u00f9 il y a de nombreuses d\u00e9pendances de code par rapport aux composants bas\u00e9s sur des fonctions qui contiennent toutes les d\u00e9pendances de code \u00e0 l'int\u00e9rieur d'une fonction et qui sont g\u00e9n\u00e9ralement plus simples. Ces derniers fonctionnent plus rapidement car nous n'avons pas besoin de construire et de d\u00e9ployer une image \u00e0 chaque fois que nous modifions notre code. Dans les composants bas\u00e9s sur des fonctions, une image python 3.7 par d\u00e9faut est utilis\u00e9e pour ex\u00e9cuter votre fonction.<\/p>\n

Notre solution pour faire fonctionner les composants complexes et simples de la m\u00eame mani\u00e8re est de travailler avec une version \u00e9cras\u00e9e de l'image de base par d\u00e9faut. Dans cette image de base modifi\u00e9e, nous installons tous nos codes sous forme de paquetage. Ensuite, nous importons ces fonctions dans des composants bas\u00e9s sur des fonctions, comme vous le feriez pour pandas par exemple. Nous avons l'avantage d'ex\u00e9cuter des t\u00e2ches complexes et simples de la m\u00eame mani\u00e8re et de r\u00e9duire le temps de construction de l'image \u00e0 seulement 1 (l'image de base).<\/p>\n

Nous organisons \u00e9galement nos\u00a0fichiers de configuration<\/strong>\u00a0d'une mani\u00e8re qui facilite l'adaptation des entr\u00e9es de vos composants et pipelines.<\/p>\n<\/div>

\"Using<\/span><\/div>

Utilisation d'une image de base \u00e9cras\u00e9e comme base unique pour tous vos composants<\/em><\/p>\n<\/div>

La parall\u00e9lisation de certaines parties de vos pipelines est aussi simple que l'\u00e9criture d'une boucle for<\/h2><\/div>

Lorsque nous exp\u00e9rimentons la ML, nous avons g\u00e9n\u00e9ralement besoin d'effectuer de nombreuses it\u00e9rations d'un processus d'apprentissage simple, soit pour r\u00e9gler un hyperparam\u00e8tre, soit pour cr\u00e9er plusieurs mod\u00e8les (par exemple, un mod\u00e8le par cat\u00e9gorie de produit).<\/p>\n

Pour y parvenir de mani\u00e8re optimale, il faudrait parall\u00e9liser les diff\u00e9rents flux de formation afin de gagner du temps et d'optimiser les ressources. Avec Vertex Pipelines et Kubefkow, l'effort est minimal de par sa conception ; il ne vous en co\u00fbtera que d'\u00e9crire une boucle for. Lors de la compilation de votre pipeline, Kubeflow d\u00e9terminera quelles \u00e9tapes et\/ou groupes d'\u00e9tapes peuvent \u00eatre ex\u00e9cut\u00e9s en parall\u00e8le et lesquels doivent \u00eatre ex\u00e9cut\u00e9s successivement.<\/p>\n<\/div>

<\/span><\/div>

Exemple de pipeline avec des parties fonctionnant en parall\u00e8le<\/em><\/p>\n<\/div>

D\u00e9ploiement conditionnel pour une exploitation sans faille de votre mod\u00e8le de ML<\/h2><\/div>

Avec kfp.dsl.condition, vous pouvez facilement d\u00e9ployer un mod\u00e8le entra\u00een\u00e9 et vous pr\u00e9parer \u00e0 le r\u00e9utiliser plus tard avec un peu de code logique. Si vous exp\u00e9rimentez avec de nombreux param\u00e8tres et que vous esp\u00e9rez passer en production de mani\u00e8re transparente en fonction d'un ensemble de conditions, cette fonctionnalit\u00e9 de Kubeflow sera tr\u00e8s pratique. Associ\u00e9e \u00e0 un excellent CICD, elle vous permettra de faire fonctionner le cycle de vie de votre mod\u00e8le ML sans probl\u00e8me.<\/p>\n<\/div>

<\/span><\/div>

Exemple de d\u00e9ploiement conditionnel<\/em><\/p>\n<\/div>

En plus de ces caract\u00e9ristiques (qui ne sont pas exhaustives), vous disposerez de\u00a0reproductibilit\u00e9<\/strong> , tra\u00e7abilit\u00e9<\/strong>, la facilit\u00e9 de gestion<\/strong>\u00a0et enfin une superbe interface utilisateur pour tout contr\u00f4ler sur l'interface Vertex AI sur GCP.<\/p>\n<\/div>

Conclusion<\/h2><\/div>

De nos jours, de nombreux mod\u00e8les de ML sont appel\u00e9s \u00e0 fonctionner en production. Si vous travaillez sur GCP et que vous envisagez d'utiliser Vertex AI, nous esp\u00e9rons que ce kit de d\u00e9marrage vous aidera \u00e0 faire un voyage agr\u00e9able avec l'outil. Vous devriez \u00e9galement le consulter si vous d\u00e9marrez vos projets avec l'ambition de les rendre utiles le plus rapidement possible, c'est-\u00e0-dire de les d\u00e9ployer en production.<\/p>\n

Un grand merci \u00e0 Luca Serra, Jeffrey Kayne et Robin Doumerc (Artefact<\/a>) qui ont contribu\u00e9 \u00e0 la construction de ce kit de d\u00e9marrage, mais aussi Maxime Lutel qui a r\u00e9alis\u00e9 la mod\u00e9lisation du projet de jouet que nous utilisons.<\/p>\n

Si vous souhaitez passer au niveau sup\u00e9rieur, vous trouverez dans la documentation de GCP comment faire :<\/p>\n<\/div>