{"id":68695,"date":"2023-01-23T10:45:25","date_gmt":"2023-01-23T10:45:25","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=blog&p=68695"},"modified":"2024-09-20T17:45:54","modified_gmt":"2024-09-20T16:45:54","slug":"all-you-need-to-know-to-get-started-with-vertex-ai-pipelines","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/es\/blog\/all-you-need-to-know-to-get-started-with-vertex-ai-pipelines\/","title":{"rendered":"Todo lo que necesita saber para empezar con los conductos de IA de V\u00e9rtice"},"content":{"rendered":"

Autor<\/h2><\/div>\"Image\"

\n
Yague Ndoye Thiam<\/div>\n<\/div><\/h3><\/div>

Antiguos alumnos de Artefact (Ex ingeniero de aprendizaje autom\u00e1tico en Artefact Francia)<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Lea nuestro art\u00edculo sobre<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

En este art\u00edculo, presentaremos una herramienta que demuestra, de forma pr\u00e1ctica, nuestra experiencia utilizando los conductos de IA de V\u00e9rtice en un proyecto en producci\u00f3n.
\nUn tutorial de principio a fin sobre c\u00f3mo entrenar y desplegar un modelo ML personalizado en producci\u00f3n utilizando Vertex AI Pipelines con Kubeflow v2. Si usted est\u00e1 confundido sobre c\u00f3mo acercarse a Vertex AI, podr\u00e1 encontrar su camino ya que todo en este tutorial se basa en la experiencia de la vida real. Hay muchos ejemplos de pipelines que ilustran c\u00f3mo utilizar ciertas caracter\u00edsticas interesantes de Vertex AI y Kubeflow. Tambi\u00e9n encontrar\u00e1 un makefile que le ayudar\u00e1 a ejecutar recetas importantes y le ahorrar\u00e1 mucho tiempo para construir su modelo y tenerlo listo y funcionando en producci\u00f3n.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Los pipelines en ML pueden definirse como conjuntos de trabajos conectados que realizan partes completas o espec\u00edficas del flujo de trabajo de ML (ej: pipeline de entrenamiento).<\/p>\n<\/div>

\"example<\/span><\/div>

ejemplo de un proceso de formaci\u00f3n sencillo<\/em><\/p>\n<\/div>

\"example<\/span><\/div>

ejemplo de un pipeline de entrenamiento en Vertex AI Pipelines usando Kubeflow<\/em><\/p>\n<\/div>

Dise\u00f1adas adecuadamente, las canalizaciones tienen la ventaja de ser reproducibles y altamente personalizables. Estas dos propiedades hacen que experimentar con ellas y desplegarlas en producci\u00f3n sea una tarea relativamente f\u00e1cil. El uso de Vertex AI Pipelines junto con Kubeflow nos ayud\u00f3 a dise\u00f1ar y ejecutar r\u00e1pidamente pipelines personalizados que tienen las propiedades mencionadas. Los ejemplos de canalizaciones que ilustramos en el kit de inicio son muy representativos de lo que uno podr\u00eda encontrarse cuando trabaja en un proyecto de ML que necesita desplegarse en producci\u00f3n. Tambi\u00e9n compartimos un pu\u00f1ado de consejos y scripts automatizados para que pueda centrarse en sentirse c\u00f3modo con Vertex AI.<\/p>\n

Cuando empec\u00e9 a utilizar los conductos de IA de v\u00e9rtices, me sent\u00ed bastante abrumado por todas las posibilidades de realizar exactamente la misma tarea. No estaba muy seguro de las mejores opciones sobre c\u00f3mo construir mis pipelines. Al cabo de unos meses, encontramos nuestro camino y forjamos algunas convicciones, al menos sobre el aspecto m\u00e1s importante de la gesti\u00f3n del ciclo de vida de un proyecto en producci\u00f3n con esta tecnolog\u00eda.<\/p>\n

Como ya hemos dicho, este art\u00edculo pretende presentar un kit de iniciaci\u00f3n que muestre, con m\u00e9todos pr\u00e1cticos, nuestra experiencia y lo que hemos aprendido al utilizar los conductos de IA de V\u00e9rtice. Esperamos que esto ayude a los nuevos principiantes a hacerse r\u00e1pidamente con esta potente herramienta sin tener que pagar su elevado precio de entrada.<\/p>\n

En las pr\u00f3ximas secciones, presentaremos los conceptos\/caracter\u00edsticas m\u00e1s interesantes que hemos encontrado utilizando las tuber\u00edas de IA de V\u00e9rtice. Tambi\u00e9n utilizaremos un proyecto de previsi\u00f3n de juguete (el concurso M5) para ilustrarlo todo. Intencionadamente no nos centraremos en la parte de modelado, sino que haremos hincapi\u00e9 en los distintos pasos necesarios para hacer operativo un modelo en producci\u00f3n.<\/p>\n<\/div>

Construya una imagen base personalizada y util\u00edcela como base para sus componentes<\/h2><\/div>

Si alguna vez ha trabajado con pipelines Kubeflow, una pregunta que puede tener es cu\u00e1ndo utilizar componentes basados en contenedores frente a componentes basados en funciones. Hay muchos pros y contras en ambas opciones, sin embargo, tambi\u00e9n se puede encontrar un t\u00e9rmino medio. Los componentes basados en contenedores son m\u00e1s adecuados para tareas complejas en las que hay muchas dependencias de c\u00f3digo en comparaci\u00f3n con los componentes basados en funciones que contienen todas las dependencias de c\u00f3digo dentro de una funci\u00f3n y suelen ser m\u00e1s sencillos. Estos \u00faltimos se ejecutan m\u00e1s r\u00e1pidamente ya que no necesitamos construir y desplegar una imagen cada vez que editamos nuestro c\u00f3digo. En los componentes basados en funciones, se utiliza una imagen python 3.7 por defecto para ejecutar su funci\u00f3n.<\/p>\n

Nuestra soluci\u00f3n para que tanto los componentes complejos como los sencillos funcionen de la misma manera es trabajar con una versi\u00f3n sobrescrita de la imagen base predeterminada. Dentro de esta imagen base alterada instalamos todos nuestros c\u00f3digos como un paquete. Luego, importamos esas funciones dentro de componentes basados en funciones como se har\u00eda con pandas, por ejemplo. Obtenemos el beneficio de ejecutar tareas complejas y simples de la misma manera y reducimos el tiempo de construcci\u00f3n de la imagen a s\u00f3lo 1 (la imagen base).<\/p>\n

Tambi\u00e9n organizamos nuestro\u00a0archivos de configuraci\u00f3n<\/strong>\u00a0de forma que sea f\u00e1cil adaptar las entradas de sus componentes y canalizaciones.<\/p>\n<\/div>

\"Using<\/span><\/div>

Utilizar una imagen base sobrescrita como base \u00fanica para todos sus componentes<\/em><\/p>\n<\/div>

Paralelizar partes de sus pipelines es tan sencillo como escribir un bucle for<\/h2><\/div>

Cuando experimentamos con el ML, solemos necesitar ejecutar muchas iteraciones de un flujo de trabajo de entrenamiento sencillo, ya sea para afinar un hiperpar\u00e1metro o para hacer varios modelos (por ejemplo, un modelo por categor\u00eda de producto).<\/p>\n

Hacer esto de forma \u00f3ptima significar\u00eda paralelizar los diferentes flujos de trabajo de entrenamiento para ganar tiempo y optimizar recursos. Con Vertex Pipelines y Kubefkow el esfuerzo es m\u00ednimo por dise\u00f1o; s\u00f3lo le costar\u00e1 escribir un bucle for. Y al compilar su pipeline, Kubeflow averiguar\u00e1 qu\u00e9 pasos y\/o grupo de pasos pueden ejecutarse en paralelo y cu\u00e1les deben hacerse sucesivamente.<\/p>\n<\/div>

<\/span><\/div>

Ejemplo de canalizaci\u00f3n con partes que se ejecutan en paralelo<\/em><\/p>\n<\/div>

Despliegue condicional para operar su modelo ML sin problemas<\/h2><\/div>

Con kfp.dsl.condition, puede desplegar f\u00e1cilmente un modelo entrenado y prepararse para reutilizarlo m\u00e1s tarde con algo de l\u00f3gica de c\u00f3digo. Si est\u00e1 experimentando con muchas configuraciones y espera trasladar sin problemas las cosas a producci\u00f3n dado un conjunto de condiciones, esta funcionalidad de Kubeflow le ser\u00e1 muy \u00fatil. M\u00e9zclela con un gran CICD y operar\u00e1 el ciclo de vida de su modelo ML sin problemas.<\/p>\n<\/div>

<\/span><\/div>

Ejemplo de despliegue condicional<\/em><\/p>\n<\/div>

Adem\u00e1s de estas caracter\u00edsticas (que no son exhaustivas), dispondr\u00e1 de\u00a0reproducibilidad<\/strong> , trazabilidad<\/strong>, manejabilidad<\/strong>\u00a0y por \u00faltimo, pero no menos importante, una gran interfaz de usuario para supervisarlo todo en la interfaz Vertex AI en GCP.<\/p>\n<\/div>

Conclusi\u00f3n<\/h2><\/div>

Hoy en d\u00eda se espera que muchos modelos ML funcionen en producci\u00f3n. As\u00ed que si est\u00e1 trabajando en GCP y planea utilizar Vertex AI, esperamos que este kit de inicio le ayude a tener un viaje agradable con la herramienta. Tambi\u00e9n deber\u00eda echarle un vistazo si est\u00e1 empezando sus proyectos con la ambici\u00f3n de hacerlos \u00fatiles lo antes posible, es decir, desplegarlos en producci\u00f3n.<\/p>\n

Muchas gracias a Luca Serra, Jeffrey Kayne y Robin Doumerc (Artefact<\/a>) que ayud\u00f3 a construir este kit de inicio, pero tambi\u00e9n a Maxime Lutel por haber realizado realmente el modelado para el proyecto de juguete que utilizamos.<\/p>\n

Si desea pasar al siguiente nivel, en la documentaci\u00f3n de GCP encontrar\u00e1 c\u00f3mo hacerlo:<\/p>\n<\/div>