{"id":65852,"date":"2022-01-31T10:48:03","date_gmt":"2022-01-31T10:48:03","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=news&p=65852"},"modified":"2024-09-20T17:45:48","modified_gmt":"2024-09-20T16:45:48","slug":"data-ml-challenges-for-2022","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/fr\/blog\/data-ml-challenges-for-2022\/","title":{"rendered":"Data & ML d\u00e9fis pour 2022"},"content":{"rendered":"

Auteur<\/h2><\/div>\"Image\"

Bruce Delattre<\/h3><\/div>

Data Responsable scientifique \u00e0 Artefact<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Lisez notre article sur<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Principales tendances 2021 data & ML... et ce qu'elles signifient pour 2022<\/p>\n

L'ann\u00e9e 2021 a \u00e9t\u00e9 tr\u00e8s riche en actualit\u00e9s li\u00e9es \u00e0 data et \u00e0 l'IA. Et que nous r\u00e9serve l'avenir ? Dans cet article, nous avons s\u00e9lectionn\u00e9 quelques histoires et articles de blog que nous avons trouv\u00e9s perspicaces, pris du recul et essay\u00e9 de d\u00e9duire ce qu'il faut attendre de ces \u201csignes\u201d pr\u00e9coces pour 2022.<\/p>\n

Cet article a \u00e9t\u00e9 rendu possible gr\u00e2ce aux contributions d'Arthur Derennes, Robin Doumerc, Amale El Hamri, Beno\u00eet Goujon, Vincent Luciani et Hanania Ouazan.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

1 - Apprivoiser l'ind\u00e9cence des mod\u00e8les de fondation<\/h2><\/div>

2021 a eu son lot de nouveaux grands mod\u00e8les. Apr\u00e8s le GPT-3 (Brown et al, 2020<\/a>) l'ann\u00e9e pr\u00e9c\u00e9dente, vous avez peut-\u00eatre entendu parler de la CLIP<\/a> ou, plus r\u00e9cemment, Marmotte<\/a>. Ces \u201cmod\u00e8les de base\u201d, en tant que Bommasani et al (2021)<\/a> (car leur architecture est souvent r\u00e9utilis\u00e9e, l\u00e9g\u00e8rement modifi\u00e9e pour s'adapter \u00e0 une t\u00e2che sp\u00e9cifique d'apprentissage automatique, ou parce qu'ils sont aussi souvent affin\u00e9s par l'apprentissage par transfert), poursuivent leur voyage et leurs progr\u00e8s, car il ne semble pas y avoir de limite au nombre de param\u00e8tres optimis\u00e9s ou data exploit\u00e9s pour les entra\u00eener. Ce qui est int\u00e9ressant, c'est que ces mod\u00e8les entra\u00eenent d'importants gains de productivit\u00e9<\/strong>, En tirant parti, comme le remarquent Bommasani et ses coauteurs, de la combinaison des \u00e9l\u00e9ments suivants l'\u00e9mergence<\/em> et homog\u00e9n\u00e9isation<\/em>.<\/p>\n<\/div>

Commen\u00e7ons par l'homog\u00e9n\u00e9isation : non seulement la plupart des mod\u00e8les que vous voyez dans la litt\u00e9rature sont adapt\u00e9s \u00e0 partir de ces architectures g\u00e9n\u00e9riques <\/strong>(pensez \u00e0 BERT qui est omnipr\u00e9sent de nos jours) ; mais souvent aussi les praticiens ne changent pas l'architecture<\/strong>, Ils se contentent d'adapter un \u201cgrand\u201d mod\u00e8le disponible \u00e0 une t\u00e2che en aval \u00e0 l'aide de l'apprentissage par transfert. Cette \u201cinvariance\u201d de l'architecture signifie que les nouvelles am\u00e9liorations apport\u00e9es \u00e0 un mod\u00e8le de fondation peuvent facilement \u00eatre transf\u00e9r\u00e9es \u00e0 tous ses mod\u00e8les enfants<\/strong>.<\/p>\n<\/div>

L'\u00e9mergence, ensuite, vient de la fa\u00e7on dont ils g\u00e8rent la formation de data. Form\u00e9s en auto-supervision, \u00e0 partir de data brutes qui n'ont pas \u00e9t\u00e9 \u00e9tiquet\u00e9es de mani\u00e8re sp\u00e9cifique, ils commencent \u00e0 montrer qu'ils peuvent r\u00e9pondre \u00e0 des besoins pour lesquels ils n'ont pas \u00e9t\u00e9 con\u00e7us \u00e0 l'origine (une capacit\u00e9 \u201czero-shot\u201d). Les t\u00e2ches complexes d'apprentissage automatique qui souffrent d'une tr\u00e8s faible disponibilit\u00e9 de data peuvent \u00eatre mieux r\u00e9solues en tirant parti de la \u201cconnaissance\u201d que ces mod\u00e8les extraient de gros morceaux de data.<\/strong>. Nous n'en sommes qu'aux premiers stades et les r\u00e9sultats sont souvent plus troublants que fructueux, mais le GPT-3, par exemple, apprend directement \u00e0 r\u00e9soudre une t\u00e2che \u00e0 partir d'une invite qu'il n'a pas vue pendant la formation (du moins, th\u00e9oriquement, n'aurait pas d\u00fb voir...<\/em>). Cette \u00e9mergence de capacit\u00e9s non planifi\u00e9es signifie que nous pourrions \u00e9voluer vers plus d'efficacit\u00e9 et d'efficience. <\/strong>capable et polyvalent<\/a> l'apprentissage automatique. <\/strong><\/p>\n<\/div>

Ces avantages ne vont pas sans changements structurels. Comme il s'agit de mod\u00e8les de grande taille par nature, la liste des organisations et des entreprises capables de les cr\u00e9er est restreinte. Cela devrait certainement stimuler l'utilisation de l'apprentissage automatique par le biais d'API d'IA propri\u00e9taires ou d'interfaces rapides, en confiant aux ing\u00e9nieurs la formation et la maintenance des mod\u00e8les de base.<\/strong>. D'autre part, comme de plus en plus de mod\u00e8les d\u00e9pendront d'un seul parent, on peut s'attendre \u00e0 ce qu'il y ait davantage de r\u00e9glementation, d'enqu\u00eates \u00e9thiques et sociales sur ces mod\u00e8les (car les enfants h\u00e9ritent du biais de leur mod\u00e8le de base). Il y aura certainement de plus en plus de valeur \u00e0 travailler avec des talents connaissant les capacit\u00e9s, les limites et les biais cach\u00e9s derri\u00e8re ces interfaces, d'une mani\u00e8re ou d'une autre... \u00e0 commencer par leur empreinte carbone.<\/strong><\/p>\n<\/div>

2 - Rendre l'IA durable<\/h2><\/div>

Il n'est pas surprenant que ces nouvelles formes d'IA aient un co\u00fbt \u00e9lev\u00e9 en termes d'\u00e9missions de carbone<\/strong>: Strubell et al.<\/a> estime qu'un seul entra\u00eenement de l'ORET sur les GPU est \u00e0 peu pr\u00e8s \u00e9quivalent \u00e0 un vol NY-SF, tandis que l'entra\u00eenement de l'ORET sur les GPU est \u00e0 peu pr\u00e8s \u00e9quivalent \u00e0 un vol NY-SF. Taddeo et al.<\/a> \u00e9valuer qu'une seule formation GPT-3 \u00e9met autant de CO2 que 49 voitures au cours d'une ann\u00e9e.<\/p>\n

L'IA a d'abord \u00e9t\u00e9 consid\u00e9r\u00e9e comme un outil pr\u00e9cieux pour r\u00e9soudre les probl\u00e8mes li\u00e9s au changement climatique (voir les nombreuses id\u00e9es de la conf\u00e9rence NeurIPS \u201cTackling climate change with machine learning\u201d 2019). atelier<\/a>), mais de nombreux experts pointent \u00e9galement du doigt son empreinte carbone. \u201cIA durable<\/a>\u201dSelon Aimee van Wynsberghe, la notion de \"durabilit\u00e9\" devrait englober non seulement l'IA pour la durabilit\u00e9, mais aussi la durabilit\u00e9 de l'IA.<\/strong> (qui ne doit pas non plus se limiter aux pr\u00e9occupations \u00e9cologiques).<\/p>\n<\/div>

Comme Abhishek Gupta recommande<\/a>, travaillant en pour favoriser une IA durable, il faut explorer de nouvelles m\u00e9thodes de travail<\/strong>. TinyML pourrait nous aider \u00e0 \u00e9viter le co\u00fbt \u00e9nerg\u00e9tique des calculs sans fil<\/a>, pendant que sensibilisation au carbone<\/a> devrait nous aider \u00e0 comprendre dans quelle zone g\u00e9ographique nous pourrions le mieux former et d\u00e9ployer nos mod\u00e8les d'apprentissage automatique. Une utilisation plus judicieuse du mat\u00e9riel et des services existants devrait \u00e9galement \u00eatre l'affaire de tous.<\/p>\n

Quelles que soient les solutions utilis\u00e9es pour adopter une IA durable, nous nous attendons \u00e0 ce que les d\u00e9cideurs soient plus enclins \u00e0 r\u00e9fl\u00e9chir \u00e0 deux fois avant de lancer des projets d'IA.<\/strong>. Cela soul\u00e8ve la question de savoir mesure<\/strong> l'apprentissage automatique de l'impact sur l'environnement.<\/p>\n<\/div>

Le d\u00e9veloppement de l'apprentissage automatique, en 2022, devrait \u00eatre accompagn\u00e9 d'un rapport plus syst\u00e9matique sur les \u00e9missions de CO2e \u00e0 c\u00f4t\u00e9 des mesures de performance (voir par exemple codecarbone<\/a>), une plus grande transparence de la part des fournisseurs de cloud (voir l'empreinte carbone des BPC). tableau de bord<\/a>) et, surtout, une r\u00e9flexion plus approfondie sur les avantages et les co\u00fbts de l'utilisation de l'IA. Les projets les plus convaincants seront ceux qui adopteront une approche holistique : il ne s'agit pas seulement de quantifier l'empreinte carbone de l'informatique, mais de la mettre en regard de l'efficacit\u00e9 apport\u00e9e par ces nouveaux produits.<\/strong>, sans oublier de tenir compte d'une \u00e9ventuelle effet de rebond<\/a>. Il ne suffit pas de mesurer l'empreinte carbone de ces grands mod\u00e8les : nous devrions prendre en compte l'ensemble du processus de bout en bout : formation, d\u00e9ploiement, suivi, ainsi que son impact sur les m\u00e9thodes de travail des personnes<\/strong>.<\/p>\n<\/div>

3 - Ajouter une touche de zen \u00e0 vos MLOPs<\/h2><\/div>

Ceci est important car la production de l'apprentissage automatique devient de plus en plus complexe et sophistiqu\u00e9e.<\/strong>. Les MLOPs ont particuli\u00e8rement continu\u00e9 leur essor cette ann\u00e9e et ont eu leur part d'innovations ou de concepts \u00e0 la mode, comme Matt Turck explique<\/a>. Pensez simplement \u00e0 caract\u00e9ristiques des magasins<\/a>, streaming<\/a> et toutes les initiatives DataOps que nous aborderons juste en dessous.<\/p>\n

Si l'ann\u00e9e 2021 a \u00e9t\u00e9 une fois de plus une ann\u00e9e faste pour les MLOPs<\/a>, Nous avons \u00e9galement commenc\u00e9 \u00e0 de la critique r\u00e9fl\u00e9chie \u00e0 l'encontre de son propre buzz<\/strong>. Et les arguments sont justes : le paysage des MLOPs est \u00e0 peine lisible,<\/a> englobant des centaines de concepts et d'outils, peut-\u00eatre souvent surmortalit\u00e9<\/a> et on pourrait raisonnablement affirmer qu'un projet moyen n'aura pas n\u00e9cessairement besoin de tous les \u00e9l\u00e9ments<\/a><\/strong>. La majorit\u00e9 des \u201c\u00e9chelle raisonnable<\/a>\u201dLes entreprises qui ne sont pas FAANG<\/a> (c'est-\u00e0-dire.<\/em> pas d'\u00e9normes \u00e9quipes techniques, pas de ROI infini g\u00e9n\u00e9r\u00e9 par l'IA, des volumes raisonnables de data) devrait rester simple<\/strong>.<\/p>\n<\/div>

Il reste difficile de pr\u00e9dire comment ce paysage \u00e9voluera<\/strong>Les outils sans code ou \u00e0 faible code continueront certainement \u00e0 se d\u00e9velopper et \u00e0 mettre ces fonctionnalit\u00e9s \u00e0 la disposition de tous. Les outils sans code ou \u00e0 faible code continueront certainement \u00e0 se d\u00e9velopper et \u00e0 mettre ces fonctionnalit\u00e9s \u00e0 la disposition de tous. Cependant, les choses peuvent changer, nous croyons \u00e9galement \u00e0 l'\u00e9mergence, dans les prochaines ann\u00e9es, de normes ouvertes et d'une \u201cpile ML canonique\u201d<\/strong> comme celui que l'Alliance pour l'infrastructure de l'IA a l'intention de mettre en place. construire<\/a> (avis de non-responsabilit\u00e9 : Artefact fait partie de l'Alliance).<\/p>\n<\/div>

Nous vous souhaitons donc d'ajouter une touche de Zen<\/a> \u00e0 vos MLOP en 2022<\/strong>. Cela signifie, tout d'abord, prendre du recul et \u00e9laguer votre pile pour ne garder que ce qui est vraiment important<\/strong>: l'efficacit\u00e9 de vos mod\u00e8les d'apprentissage automatique et la productivit\u00e9 de vos scientifiques data, par exemple avec un outil \u201cagressivement utile<\/a>\u201dL'\u00e9quipe de la plateforme Stitch Fix a adopt\u00e9 la m\u00eame mentalit\u00e9. Ensuite, comme la plupart des anti-mod\u00e8les<\/a> d'un projet d'apprentissage automatique semblent provenir du c\u00f4t\u00e9 du data, de travailler \u00e0 la consolidation des fondements de votre projet : comment vous approvisionnez et traitez le data lui-m\u00eame<\/strong>. Comme le dit Ciro Greco, le data devrait en effet devenir un \u201c.\u201ccitoyen de premi\u00e8re classe<\/a>\u201d de votre pile de production.<\/p>\n<\/div>

4 - Faire du data plus un produit qu'un simple intrant<\/h2><\/div>

\u201cIl a toujours \u00e9t\u00e9 question de data\u201d devrait d\u00e9clarer 2021, avec le regain d'int\u00e9r\u00eat qu'il suscite, comme en t\u00e9moigne, bien s\u00fbr, le projet de loi sur la protection de l'environnement. Data-AI centr\u00e9e<\/a> lanc\u00e9 par Andrew Ng. Le data n'est pas seulement le carburant de la performance de votre mod\u00e8le d'apprentissage automatique, c'est aussi l\u00e0 que les probl\u00e8mes se posent, car un data d\u00e9s\u00e9quilibr\u00e9, biais\u00e9 ou mal \u00e9tiquet\u00e9 aura certainement un impact n\u00e9gatif sur les algorithmes en aval.<\/strong>. Pour un mod\u00e8le donn\u00e9 et fixe, nous devrions donc \u00eatre en mesure de gagner en qualit\u00e9 simplement en travaillant sur son entr\u00e9e, le data.<\/p>\n<\/div>

Ce qui est int\u00e9ressant, c'est que ce mouvement devrait r\u00e9concilier tous les acteurs de la cha\u00eene de valeur, qu'il s'agisse de l'ing\u00e9nierie data et de ses r\u00e9cents appels \u00e0 l'am\u00e9lioration de la qualit\u00e9 des produits. DataOps<\/a> (et nous avons nous-m\u00eames pris un r\u00e9el plaisir cette ann\u00e9e \u00e0 inclure des outils tels que Les grandes esp\u00e9rances<\/a> dans tous nos projets) aux scientifiques et analystes de data qui ne manqueront pas d'outils sophistiqu\u00e9s pour les aider dans leur travail. les m\u00e9thodologies<\/a> pour affiner la data disponible (augmentation, \u00e9tiquetage, correction des biais, \u00e9chantillonnage...). Bien entendu, nous pensons que cela ne sera pas possible sans un investissement clair de la part de la direction g\u00e9n\u00e9rale et l'application de r\u00e8gles explicites. processus<\/a> de data governance pour identifier, puis structurer les diff\u00e9rents domaines et leurs propri\u00e9taires au sein de l'organisation. <\/strong><\/p>\n<\/div>

Ceci, combin\u00e9 au fait que data sera de plus en plus facile \u00e0 d\u00e9placer gr\u00e2ce \u00e0 des initiatives telles que Airbyte's<\/a> et l'am\u00e9lioration continue des data partage<\/a> technologies de notre pile data moderne permettraient \u00e0 la les entreprises doivent manifestement trouver de nouvelles perspectives<\/a> du data lui-m\u00eame<\/strong>, Parall\u00e8lement \u00e0 ce que l'IA apporte d\u00e9j\u00e0 en termes d'automatisation et de connaissances.<\/p>\n<\/div>

***<\/p>\n

Voil\u00e0, c'est fait ! En cette p\u00e9riode de r\u00e9solutions pour la nouvelle ann\u00e9e, nous vous souhaitons donc de dompter l'ind\u00e9cence des mod\u00e8les de fondation, de rendre l'IA durable, d'ajouter une touche de zen \u00e0 vos MLOP et enfin d'entretenir votre data comme un produit plut\u00f4t que de le consid\u00e9rer comme un simple intrant. Et vous ? Qu'est-ce qui vous a le plus surpris l'ann\u00e9e derni\u00e8re ? Que pensez-vous qu'il se passera cette ann\u00e9e ?\u00a0<\/strong><\/p>\n<\/div><\/div><\/div><\/div><\/article>

<\/span><\/a><\/span>
<\/span><\/div>

Moyen Blog par Artefact.<\/h3><\/div>

Cet article a \u00e9t\u00e9 initialement publi\u00e9 sur Medium.com<\/strong>.
\nSuivez-nous sur notre Medium Blog !<\/p>\n<\/div>

Lire notre article<\/span><\/a><\/div><\/div><\/div><\/div><\/div><\/p>","protected":false},"excerpt":{"rendered":"

Principales tendances 2021 data & ML... et ce qu'elles signifient pour 2022<\/p>","protected":false},"featured_media":68685,"parent":0,"template":"","meta":{"_acf_changed":false,"ep_exclude_from_search":false},"blog-category":[21939],"blog-language":[2991],"class_list":["post-65852","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-medium","blog-language-en"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/blog\/65852","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/types\/blog"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/media\/68685"}],"wp:attachment":[{"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/media?parent=65852"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/blog-category?post=65852"},{"taxonomy":"blog-language","embeddable":true,"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/blog-language?post=65852"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}