{"id":68695,"date":"2023-01-23T10:45:25","date_gmt":"2023-01-23T10:45:25","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=blog&p=68695"},"modified":"2024-09-20T17:45:54","modified_gmt":"2024-09-20T16:45:54","slug":"all-you-need-to-know-to-get-started-with-vertex-ai-pipelines","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/br\/blog\/all-you-need-to-know-to-get-started-with-vertex-ai-pipelines\/","title":{"rendered":"Tudo o que o senhor precisa saber para come\u00e7ar a usar o Vertex AI Pipelines"},"content":{"rendered":"

Autor<\/h2><\/div>\"Image\"

\n
Yague Ndoye Thiam<\/div>\n<\/div><\/h3><\/div>

Artefact alumni (Ex-Engenheiro de Aprendizado de M\u00e1quina na Artefact Fran\u00e7a)<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Leia nosso artigo sobre<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Neste artigo, apresentaremos uma ferramenta que demonstra, na pr\u00e1tica, nossa experi\u00eancia com o uso do Vertex AI Pipelines em um projeto em execu\u00e7\u00e3o na produ\u00e7\u00e3o.
\nUm tutorial de ponta a ponta sobre como treinar e implantar um modelo de ML personalizado na produ\u00e7\u00e3o usando o Vertex AI Pipelines com o Kubeflow v2. Se estiver confuso sobre como abordar o Vertex AI, o senhor poder\u00e1 encontrar o caminho, pois tudo neste tutorial \u00e9 baseado na experi\u00eancia real. H\u00e1 muitos exemplos de pipelines que ilustram como usar determinados recursos interessantes do Vertex AI e do Kubeflow. O senhor tamb\u00e9m encontrar\u00e1 um makefile para ajud\u00e1-lo a executar receitas importantes e economizar muito tempo para criar seu modelo e coloc\u00e1-lo em funcionamento na produ\u00e7\u00e3o.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Os pipelines em ML podem ser definidos como conjuntos de trabalhos conectados que executam partes completas ou espec\u00edficas do fluxo de trabalho de ML (por exemplo, pipeline de treinamento).<\/p>\n<\/div>

\"example<\/span><\/div>

exemplo de um pipeline de treinamento simples<\/em><\/p>\n<\/div>

\"example<\/span><\/div>

exemplo de um pipeline de treinamento no Vertex AI Pipelines usando o Kubeflow<\/em><\/p>\n<\/div>

Projetados adequadamente, os pipelines t\u00eam a vantagem de serem reproduz\u00edveis e altamente personaliz\u00e1veis. Essas duas propriedades tornam a experimenta\u00e7\u00e3o e a implementa\u00e7\u00e3o na produ\u00e7\u00e3o uma tarefa relativamente f\u00e1cil. O uso do Vertex AI Pipelines junto com o Kubeflow nos ajudou a projetar e executar rapidamente pipelines personalizados que t\u00eam as propriedades mencionadas acima. Os exemplos de pipelines que ilustramos no kit inicial s\u00e3o muito representativos do que se poderia encontrar ao trabalhar em um projeto de ML que precisa ser implantado na produ\u00e7\u00e3o. Tamb\u00e9m compartilhamos v\u00e1rias dicas e scripts automatizados para que o senhor possa se concentrar em se familiarizar com o Vertex AI.<\/p>\n

Quando comecei a usar o Vertex AI Pipelines, fiquei bastante impressionado com todas as possibilidades de realizar exatamente a mesma tarefa. N\u00e3o tinha muita certeza sobre as melhores op\u00e7\u00f5es de como construir meus pipelines. Depois de alguns meses, encontramos nosso caminho e forjamos algumas convic\u00e7\u00f5es, pelo menos no aspecto mais importante do gerenciamento do ciclo de vida de um projeto em produ\u00e7\u00e3o com essa tecnologia.<\/p>\n

Conforme declarado anteriormente, o objetivo deste artigo \u00e9 apresentar um kit inicial que mostre, em m\u00e9todos pr\u00e1ticos, nossa experi\u00eancia e o que aprendemos ao usar o Vertex AI Pipelines. Esperamos que isso ajude os iniciantes a compreender rapidamente essa ferramenta avan\u00e7ada sem pagar o alto pre\u00e7o de entrada.<\/p>\n

Nas pr\u00f3ximas se\u00e7\u00f5es, apresentaremos os conceitos\/caracter\u00edsticas mais interessantes que encontramos usando o Vertex AI Pipelines. Tamb\u00e9m usaremos um projeto de previs\u00e3o de brinquedo (a competi\u00e7\u00e3o M5) para ilustrar tudo. Intencionalmente, n\u00e3o nos concentraremos na parte de modelagem, mas enfatizaremos as diferentes etapas necess\u00e1rias para operacionalizar um modelo na produ\u00e7\u00e3o.<\/p>\n<\/div>

Crie uma imagem de base personalizada e use-a como base para seus componentes<\/h2><\/div>

Se o senhor j\u00e1 trabalhou com pipelines do Kubeflow, uma d\u00favida que pode ter \u00e9 quando usar componentes baseados em cont\u00eaineres em vez de componentes baseados em fun\u00e7\u00f5es. H\u00e1 muitos pr\u00f3s e contras em ambas as op\u00e7\u00f5es, no entanto, tamb\u00e9m \u00e9 poss\u00edvel encontrar um meio termo. Os componentes baseados em cont\u00eaineres s\u00e3o mais adequados para tarefas complexas em que h\u00e1 muitas depend\u00eancias de c\u00f3digo em compara\u00e7\u00e3o com os componentes baseados em fun\u00e7\u00f5es que cont\u00eam todas as depend\u00eancias de c\u00f3digo dentro de uma fun\u00e7\u00e3o e geralmente s\u00e3o mais simples. O \u00faltimo \u00e9 executado mais rapidamente, pois n\u00e3o precisamos criar e implantar uma imagem toda vez que editamos nosso c\u00f3digo. Nos componentes baseados em fun\u00e7\u00f5es, uma imagem padr\u00e3o do python 3.7 \u00e9 usada para executar sua fun\u00e7\u00e3o.<\/p>\n

Nossa solu\u00e7\u00e3o para executar componentes complexos e simples da mesma forma \u00e9 trabalhar com uma vers\u00e3o sobrescrita da imagem de base padr\u00e3o. Dentro dessa imagem de base alterada, instalamos todos os nossos c\u00f3digos como um pacote. Em seguida, importamos essas fun\u00e7\u00f5es dentro de componentes baseados em fun\u00e7\u00f5es, como o senhor faria com o pandas, por exemplo. Obtemos a vantagem de executar tarefas complexas e simples da mesma maneira e reduzimos o tempo de cria\u00e7\u00e3o da imagem para apenas 1 (a imagem de base).<\/p>\n

Tamb\u00e9m organizamos nossos\u00a0arquivos de configura\u00e7\u00e3o<\/strong>\u00a0de uma forma que facilita a adapta\u00e7\u00e3o das entradas de seus componentes e pipelines.<\/p>\n<\/div>

\"Using<\/span><\/div>

Usar uma imagem de base sobrescrita como base \u00fanica para todos os seus componentes<\/em><\/p>\n<\/div>

Paralelizar partes de seus pipelines \u00e9 t\u00e3o simples quanto escrever um loop for<\/h2><\/div>

Ao fazer experi\u00eancias com ML, geralmente precisamos executar muitas itera\u00e7\u00f5es de um fluxo de trabalho de treinamento simples, seja para ajustar um hiperpar\u00e2metro ou para criar v\u00e1rios modelos (por exemplo, um modelo por categoria de produto).<\/p>\n

Fazer isso de forma otimizada significaria paralelizar os diferentes fluxos de trabalho de treinamento para ganhar tempo e otimizar os recursos. Com o Vertex Pipelines e o Kubefkow, o esfor\u00e7o \u00e9 m\u00ednimo por design; s\u00f3 vai custar ao senhor escrever um loop for. E, ao compilar o pipeline, o Kubeflow descobrir\u00e1 quais etapas e\/ou grupos de etapas podem ser executados em paralelo e quais precisam ser executados sucessivamente.<\/p>\n<\/div>

<\/span><\/div>

Exemplo de um pipeline com partes que s\u00e3o executadas em paralelo<\/em><\/p>\n<\/div>

Implementa\u00e7\u00e3o condicional para operar seu modelo de ML sem problemas<\/h2><\/div>

Com o kfp.dsl.condition, o senhor pode implantar facilmente um modelo treinado e se preparar para reutiliz\u00e1-lo posteriormente com alguma l\u00f3gica de c\u00f3digo. Se o senhor estiver fazendo experi\u00eancias com muitas configura\u00e7\u00f5es e esperando mover as coisas sem problemas para a produ\u00e7\u00e3o com base em um conjunto de condi\u00e7\u00f5es, essa funcionalidade do Kubeflow ser\u00e1 muito \u00fatil. Combine-a com um \u00f3timo CICD e o senhor operar\u00e1 o ciclo de vida do seu modelo de ML sem problemas.<\/p>\n<\/div>

<\/span><\/div>

Exemplo de implanta\u00e7\u00e3o condicional<\/em><\/p>\n<\/div>

Al\u00e9m desses recursos (que n\u00e3o s\u00e3o exaustivos), o senhor ter\u00e1\u00a0reprodutibilidade<\/strong> , rastreabilidade<\/strong>, capacidade de gerenciamento<\/strong>\u00a0E, por \u00faltimo, mas n\u00e3o menos importante, uma \u00f3tima interface de usu\u00e1rio para monitorar tudo na interface Vertex AI no GCP.<\/p>\n<\/div>

Conclus\u00e3o<\/h2><\/div>

Atualmente, espera-se que muitos modelos de ML sejam executados na produ\u00e7\u00e3o. Portanto, se o senhor estiver trabalhando no GCP e planejando usar o Vertex AI, esperamos que este kit inicial o ajude a ter uma jornada agrad\u00e1vel com a ferramenta. O senhor tamb\u00e9m deve dar uma olhada se estiver iniciando seus projetos com a ambi\u00e7\u00e3o de torn\u00e1-los \u00fateis o mais r\u00e1pido poss\u00edvel, ou seja, implant\u00e1-los na produ\u00e7\u00e3o.<\/p>\n

Muito obrigado a Luca Serra, Jeffrey Kayne e Robin Doumerc (Artefact<\/a>), que ajudaram a construir esse kit inicial, mas tamb\u00e9m Maxime Lutel, que realmente fez a modelagem do projeto de brinquedo que usamos.<\/p>\n

Se quiser passar para o pr\u00f3ximo n\u00edvel, o senhor encontrar\u00e1 na documenta\u00e7\u00e3o do GCP como fazer:<\/p>\n<\/div>