{"id":67163,"date":"2022-05-24T13:58:03","date_gmt":"2022-05-24T12:58:03","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=blog&p=67163"},"modified":"2024-09-20T17:45:49","modified_gmt":"2024-09-20T16:45:49","slug":"a-manifesto-to-include-ml-engineer-in-your-data-science-projects-from-day-1","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/fr\/blog\/a-manifesto-to-include-ml-engineer-in-your-data-science-projects-from-day-1\/","title":{"rendered":"Un manifeste pour inclure les ing\u00e9nieurs en ML dans vos projets scientifiques data d\u00e8s le premier jour"},"content":{"rendered":"

Auteur<\/h2><\/div>\"Image\"

Jeff Kayne<\/h3><\/div>

Scientifique senior Data \u00e0 Artefact<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Lisez notre article sur<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Dans cet article d'opinion, Jeffery explique que les scientifiques data devraient se concentrer sur la pr\u00e9cision de leurs mod\u00e8les, tandis que les ing\u00e9nieurs ML devraient s'assurer en priorit\u00e9 que les mod\u00e8les peuvent \u00eatre utilis\u00e9s par l'ensemble de l'entreprise. <\/p>\n<\/div><\/div><\/div><\/div><\/div>

Beaucoup d'entre nous, d\u00e9veloppeurs, connaissent le sentiment de devoir \u00e9quilibrer le temps pass\u00e9 avec les utilisateurs \u00e0 essayer de comprendre leurs besoins et le temps pass\u00e9 \u00e0 d\u00e9velopper le logiciel. Cela est encore plus \u00e9vident dans le domaine de la science data, car pour construire un syst\u00e8me efficace, il est n\u00e9cessaire d'avoir une bonne connaissance du domaine en question. Au cours des deux derni\u00e8res ann\u00e9es, j'ai travaill\u00e9 en tant qu'ing\u00e9nieur en ML dans diff\u00e9rents domaines de la science. data science<\/a> Je me suis souvent demand\u00e9 comment s\u00e9parer les responsabilit\u00e9s li\u00e9es \u00e0 l'optimisation de la pr\u00e9cision des mod\u00e8les et \u00e0 la cr\u00e9ation de tous les logiciels n\u00e9cessaires pour rendre ces mod\u00e8les fonctionnels. \u00c0 mon humble avis, les scientifiques de data devraient donner la priorit\u00e9 \u00e0 la pr\u00e9cision de leurs mod\u00e8les, tandis que les ing\u00e9nieurs ML devraient s'assurer que ces mod\u00e8les peuvent \u00eatre utilis\u00e9s par l'ensemble de l'entreprise.<\/p>\n<\/div>

En r\u00e8gle g\u00e9n\u00e9rale, dans les projets scientifiques data, plus vous effectuez d'it\u00e9rations, mieux c'est. Examinons donc les raisons pour lesquelles l'int\u00e9gration d'un ing\u00e9nieur en ML d\u00e8s le premier jour vous aidera \u00e0 it\u00e9rer et augmentera donc vos chances de construire un syst\u00e8me performant. Pour couvrir tous les aspects, nous allons d\u00e9composer chaque raison en trois th\u00e8mes principaux des projets scientifiques data :\u00a0data, mod\u00e8les\u00a0<\/strong>et\u00a0l'infrastructure<\/strong>.<\/p>\n

Avant d'entrer dans le vif du sujet, permettez-moi de d\u00e9finir ce que j'entends par\u00a0it\u00e9ration<\/strong>. Dans cet article, je fais r\u00e9f\u00e9rence \u00e0 des it\u00e9rations de bout en bout du produit complet, comprenant souvent des \u00e9tapes d'ingestion de data, de pr\u00e9traitement, de formation et d'\u00e9valuation de mod\u00e8les, de fourniture d'infrastructure, etc : data ingestion, pr\u00e9traitement, formation et \u00e9valuation du mod\u00e8le, mise en place de l'infrastructure, etc. Ce que je\u00a0ne signifie pas\u00a0<\/em>est une it\u00e9ration rapide d'un mod\u00e8le dans un carnet de notes avec l'ajustement d'un hyper param\u00e8tre. Si vous avez l'habitude de travailler dans un cadre agile, vous pouvez \u00e9galement consid\u00e9rer ces it\u00e9rations comme des sprints de projet.<\/p>\n<\/div>

Raison 1 : Acc\u00e9l\u00e9rer la livraison initiale du POC<\/h2><\/div>
\"Reason<\/span><\/div>

La construction d'un squelette sur lequel vous pouvez it\u00e9rer est la premi\u00e8re priorit\u00e9 et peut \u00eatre un processus de longue haleine. Ce squelette est g\u00e9n\u00e9ralement un POC qui contient votre mod\u00e8le de base initial et une d\u00e9monstration d'une application ou d'une mani\u00e8re d'exploiter les r\u00e9sultats du mod\u00e8le.<\/p>\n<\/div>

Un ing\u00e9nieur ML vous aidera \u00e0 :<\/h3><\/div>

L'infrastructure :\u00a0<\/strong>la s\u00e9lection de ressources cloud compatibles (VM, connexions \u00e0 diverses sources data) et la conception de l'architecture cloud sont quelques-unes des consid\u00e9rations initiales de l'ing\u00e9nieur ML.<\/p>\n

Data :\u00a0<\/strong>obtenir les data n\u00e9cessaires pour commencer \u00e0 construire un mod\u00e8le et assurer la disponibilit\u00e9 des data \u00e0 partir de diff\u00e9rentes sources, avec la possibilit\u00e9 de d\u00e9velopper de nouveaux flux si n\u00e9cessaire.<\/p>\n

Mod\u00e8les :<\/strong>\u00a0s'assurer que les mod\u00e8les test\u00e9s sont effectivement compatibles avec l'architecture cloud propos\u00e9e pour le d\u00e9ploiement du mod\u00e8le et les exigences techniques (par exemple, latence, calcul n\u00e9cessaire, exigences de l'environnement de production).<\/p>\n

L'ing\u00e9nieur ML peut \u00e9galement contribuer \u00e0 cette phase en d\u00e9finissant les meilleures pratiques d'ing\u00e9nierie logicielle avec le contr\u00f4le de version, le linting, l'architecture du code, les tests, etc.<\/p>\n<\/div>

Raison 2 : Acc\u00e9l\u00e9rer chaque it\u00e9ration<\/h2><\/div>
\"Reason<\/span><\/div>

Une fois que vous avez r\u00e9alis\u00e9 la premi\u00e8re version, les deux premi\u00e8res it\u00e9rations sont souvent difficiles et lentes. L'acc\u00e9l\u00e9ration des it\u00e9rations permet d'effectuer des it\u00e9rations plus petites avec une seule modification de fonctionnalit\u00e9, ce qui constitue une m\u00e9thode de d\u00e9veloppement beaucoup plus efficace que de modifier de nombreux \u00e9l\u00e9ments d'un mod\u00e8le avant d'obtenir un retour d'information.<\/p>\n

L'infrastructure :<\/strong>\u00a0on peut gagner du temps en optimisant l'infrastructure de stockage et de calcul. Au cours de ces it\u00e9rations, un ing\u00e9nieur en ML peut chercher \u00e0 versionner l'infrastructure elle-m\u00eame, avec des outils d'Infrastructure as Code (IaC) tels que\u00a0Terraform<\/a>. L'utilisation de l'IaC permet d'automatiser le d\u00e9ploiement de l'infrastructure directement avec les pipelines CI\/CD, en acc\u00e9l\u00e9rant l'int\u00e9gration de tous les changements qui doivent \u00eatre apport\u00e9s \u00e0 l'infrastructure existante, et la cr\u00e9ation de diff\u00e9rents environnements cloud (dev, staging, production). L'utilisation de composants cloud sp\u00e9cifiques peut \u00e9galement acc\u00e9l\u00e9rer votre flux de travail, par exemple en construisant des images \u00e0 distance \u00e0 l'aide de la solution GCP\u00a0Cr\u00e9ation d'un nuage<\/a>.<\/p>\n<\/div>

Data :\u00a0<\/strong>Les pipelines de pr\u00e9traitement peuvent \u00eatre construits rapidement par les \u00e9quipes scientifiques de data afin de passer rapidement \u00e0 la mod\u00e9lisation. Un ing\u00e9nieur ML peut vous aider dans cette phase \u00e0 rationaliser vos requ\u00eates de traitement, qu'elles soient en sql, pandas, pyspark, etc. Faire cela d\u00e8s le d\u00e9but peut vous faire gagner beaucoup de temps sur les it\u00e9rations \u00e0 long terme, car ce code est ex\u00e9cut\u00e9.\u00a0beaucoup<\/em>.<\/p>\n

Mod\u00e8les :\u00a0<\/strong>les architectures de mod\u00e8les complexes peuvent rendre le processus de formation tr\u00e8s long. En outre, lorsqu'un scientifique du data parle d'un \u201cmod\u00e8le\u201d, il peut en fait faire r\u00e9f\u00e9rence \u00e0 un groupe de 100 mod\u00e8les form\u00e9s sur diff\u00e9rentes tranches du data, chacun avec un explicateur SHAP pour d\u00e9river l'importance des caract\u00e9ristiques. Un ing\u00e9nieur en ML peut se concentrer sur la mani\u00e8re de parall\u00e9liser le pipeline d'entra\u00eenement, que ce soit sur une VM avec multiprocessing en python, ou en distribuant votre charge de travail sur plusieurs n\u0153uds sur le cloud. Cette m\u00e9thode peut \u00eatre it\u00e9r\u00e9e, mais des gains importants peuvent \u00eatre r\u00e9alis\u00e9s avec \u00e9tonnamment peu d'efforts. Automatiser le d\u00e9ploiement de votre mod\u00e8le avec un\u00a0CI\/CD\/CT<\/a>\u00a0acc\u00e9l\u00e8re \u00e9galement consid\u00e9rablement vos it\u00e9rations et garantit la r\u00e9p\u00e9tabilit\u00e9.<\/p>\n<\/div>

Raison 3 : R\u00e9duire le co\u00fbt de chaque it\u00e9ration<\/h2><\/div>
\"Reason<\/span><\/div>

La pr\u00e9sence d'un ing\u00e9nieur charg\u00e9 de contr\u00f4ler le budget cloud de votre projet est essentielle, en particulier pour les applications \u00e0 forte intensit\u00e9 de data.<\/p>\n

L'infrastructure :\u00a0<\/strong>le co\u00fbt est une variable majeure dans l'\u00e9quation du choix de l'infrastructure. Une fois l'infrastructure choisie, des alertes budg\u00e9taires peuvent \u00eatre mises en place pour s'assurer que les composants co\u00fbteux sont surveill\u00e9s de pr\u00e8s.<\/p>\n

Data :\u00a0<\/strong>Les requ\u00eates intelligentes et le stockage de data peuvent \u00e9galement r\u00e9duire de mani\u00e8re significative les co\u00fbts de chaque it\u00e9ration. Par exemple, l'agr\u00e9gation de data devrait \u00eatre effectu\u00e9e avec parcimonie au cours des it\u00e9rations du mod\u00e8le.<\/p>\n

Mod\u00e8les :\u00a0<\/strong>La parall\u00e9lisation de votre pipeline de formation peut \u00e9galement vous permettre d'\u00e9conomiser sur les temps de disponibilit\u00e9 des machines co\u00fbteuses ou sur les temps d'ex\u00e9cution des composants sans serveur.<\/p>\n<\/div>

Raison 4 : Assurer la r\u00e9p\u00e9tabilit\u00e9 et l'interpr\u00e9tabilit\u00e9 de chaque it\u00e9ration<\/h1><\/div>
\"Reason<\/span><\/div>

R\u00e9aliser des it\u00e9rations rapides avec une boucle de r\u00e9troaction de qualit\u00e9 dans votre projet est une excellente chose, mais si vous ne pouvez pas replay chacun de ces sc\u00e9narios, cela ne sert pas \u00e0 grand-chose. Avoir un pipeline reproductible signifie implicitement que vous devez disposer d'un moyen de contr\u00f4ler les ex\u00e9cutions du pipeline, afin d'identifier les ex\u00e9cutions bas\u00e9es sur des param\u00e8tres sp\u00e9cifiques ou des mesures de performance sur lesquelles revenir si n\u00e9cessaire. La mise en place d'une telle proc\u00e9dure au cours du d\u00e9veloppement aide les scientifiques data \u00e0 exp\u00e9rimenter librement (sans avoir recours au tristement c\u00e9l\u00e8bre Untitled12.ipynb) et pr\u00e9pare le pipeline \u00e0 la surveillance de la production.<\/p>\n<\/div>

L'infrastructure :\u00a0<\/strong>L'\u00e9tablissement d'un lien entre la version du code d'entra\u00eenement et la version du code d'infrastructure constitue ici un \u201c effort suppl\u00e9mentaire \u201d, mais il est n\u00e9cessaire pour fournir des capacit\u00e9s compl\u00e8tes de retour en arri\u00e8re \u00e0 une ex\u00e9cution pr\u00e9c\u00e9dente. Assurer la r\u00e9p\u00e9tabilit\u00e9 et le suivi d'une ex\u00e9cution de pipeline est pour moi le premier niveau essentiel de ML Ops que les \u00e9quipes devraient s'efforcer d'atteindre. Les plateformes cloud disposent de services (GCP's\u00a0Vertex AI<\/a>\u00a0par exemple) qui peuvent \u00eatre rapides \u00e0 mettre en place, mais vous pouvez \u00e9galement envisager d'adopter l'approche \u201cbest of breed\u201d en utilisant des outils open source. Il s'agit ici de trouver un \u00e9quilibre entre la plus grande fonctionnalit\u00e9 d'un outil open source sp\u00e9cifique et la complexit\u00e9 accrue de l'infrastructure globale du syst\u00e8me.<\/p>\n

Data :\u00a0<\/strong>sauvegarder tous les objets data \u00e0 chaque \u00e9tape de la cha\u00eene de production. En fonction des volumes, la priorit\u00e9 est de sauvegarder les ensembles d'essais de chaque s\u00e9rie.<\/p>\n

Mod\u00e8les :\u00a0<\/strong>comme ci-dessus, en sauvegardant tous les mod\u00e8les pour chaque ex\u00e9cution avec tous les param\u00e8tres et m\u00e9triques n\u00e9cessaires. Une autre astuce consiste \u00e0 enregistrer un commentaire sur chaque ex\u00e9cution avec ce qui a \u00e9t\u00e9 modifi\u00e9 pour cette ex\u00e9cution sp\u00e9cifique afin d'enregistrer toutes les exp\u00e9riences pendant le d\u00e9veloppement, comme vous le feriez avec un fichier\u00a0git commit<\/em>\u00a0message.<\/p>\n<\/div>

Raison 5 : \u00c9viter \u00e0 tout prix les it\u00e9rations tr\u00e9pidantes de l\u201c\u201dindustrialisation\".<\/h1><\/div>
\"Reason<\/span><\/div>

Lorsque la science du data est apparue, elle \u00e9tait tr\u00e8s exploratoire et n\u00e9cessitait un effort massif de la part d'un groupe d'ing\u00e9nieurs logiciels pour d\u00e9ployer un mod\u00e8le une fois qu'il avait d\u00e9montr\u00e9 de bonnes performances sur le data historique. Cette phase \u201cd'industrialisation\u201d est une exp\u00e9rience tr\u00e8s douloureuse car l'environnement de d\u00e9veloppement (fichiers plats et cahier python) est tr\u00e8s diff\u00e9rent de l'environnement de production (flux data automatis\u00e9s avec data de production et environnement de codage de production). Les projets les plus r\u00e9ussis sur lesquels j'ai travaill\u00e9 sont ceux o\u00f9 nous avons pu copier l'environnement de production aussi fid\u00e8lement que possible dans le d\u00e9veloppement d\u00e8s le d\u00e9but. Cela r\u00e9duira le temps de mise en production et vous permettra d'it\u00e9rer en toute s\u00e9curit\u00e9 en d\u00e9veloppement, en d\u00e9ployant en production lorsque vous \u00eates satisfaits d'une it\u00e9ration.<\/p>\n

L'infrastructure :\u00a0<\/strong>Il n'est pas toujours facile d'\u00e9muler l'infrastructure de production n\u00e9cessaire dans le cadre du d\u00e9veloppement et cela peut s'av\u00e9rer co\u00fbteux. C'est l\u00e0 que l'infrastructure en tant que code est utile et peut vous permettre de passer facilement d'un environnement \u00e0 l'autre.<\/p>\n<\/div>

Data : <\/strong>Ce qui distingue le d\u00e9veloppement scientifique de data de l'ing\u00e9nierie logicielle traditionnelle ou m\u00eame de l'ing\u00e9nierie de data, c'est que les scientifiques de data ont besoin de data de production dans le cadre du d\u00e9veloppement. L'utilisation de data en bac \u00e0 sable (excluant certaines data ou incluant certaines data de tests synth\u00e9tiques) pour l'ing\u00e9nierie data normale est une bonne pratique pendant le d\u00e9veloppement, mais elle peut repr\u00e9senter une grande perte de temps pour la science data et peut avoir un impact important sur l'ensemble du pipeline de la science data. Par cons\u00e9quent, l'acc\u00e8s en lecture seule aux tables de production doit \u00eatre n\u00e9goci\u00e9 avec votre \u00e9quipe data d\u00e8s le premier jour.<\/p>\n

Mod\u00e8les :\u00a0<\/strong>d\u00e8s le d\u00e9but du projet, un seul mod\u00e8le (ou une seule approche de mod\u00e9lisation) doit \u00eatre pr\u00e9sent dans votre code de production. Toutes les exp\u00e9riences doivent rester dans des carnets de notes ou des scripts temporaires s\u00e9par\u00e9s dans un autre dossier. Cela vous \u00e9vite d'accumuler du code mort dans votre base de code de production et facilite la maintenance ou l'int\u00e9gration d'autres d\u00e9veloppeurs.<\/p>\n<\/div>

Conclusion<\/h2><\/div>

En r\u00e9sum\u00e9, la construction de mod\u00e8les et la construction du logiciel entourant ces mod\u00e8les devraient \u00eatre deux priorit\u00e9s d\u00e8s le d\u00e9but de chaque projet. Le fait d'avoir des flux distincts avec des responsabilit\u00e9s diff\u00e9rentes peut aider les \u00e9quipes \u00e0 se concentrer sur les deux en parall\u00e8le. Le r\u00f4le de l'ing\u00e9nieur en ML \u00e9volue de jour en jour, et j'aimerais avoir votre avis sur tout ce que j'ai omis !<\/p>\n<\/div><\/div><\/div><\/div><\/article>

<\/span><\/div>

Moyen Blog par Artefact.<\/h3><\/div>

Cet article a \u00e9t\u00e9 initialement publi\u00e9 sur Medium.com<\/strong>.
\nSuivez-nous sur notre Medium Blog !<\/p>\n<\/div>

Lire notre article<\/span><\/a><\/div><\/div><\/div><\/div><\/div><\/p>","protected":false},"excerpt":{"rendered":"

Jeffrey Kane, scientifique principal Data, explique pourquoi l'ing\u00e9nieur ML devrait faire partie de vos projets scientifiques data d\u00e8s le premier jour.<\/p>","protected":false},"featured_media":68674,"parent":0,"template":"","meta":{"_acf_changed":false,"ep_exclude_from_search":false},"blog-category":[21939],"blog-language":[2991],"class_list":["post-67163","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-medium","blog-language-en"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/blog\/67163","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/types\/blog"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/media\/68674"}],"wp:attachment":[{"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/media?parent=67163"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/blog-category?post=67163"},{"taxonomy":"blog-language","embeddable":true,"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/blog-language?post=67163"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}