![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/04\/Medium-Blog.png\" "\\"Moyen")
<\/span><\/div><\/div><\/div>ACTUALIT\u00c9S \/ TECHNOLOGIE DE L'AI<\/p>\n<\/div>
25 novembre 2020
\nChez Artefact, nous sommes tellement fran\u00e7ais que nous avons d\u00e9cid\u00e9 d'appliquer l'apprentissage automatique aux croissants. Ce premier article sur deux explique comment nous avons d\u00e9cid\u00e9 d'utiliser Catboost pour pr\u00e9dire les ventes de \u201cviennoiseries\u201d. Les caract\u00e9ristiques les plus importantes qui influencent les ventes sont les derni\u00e8res ventes hebdomadaires, le fait que le produit soit en promotion ou non et son prix. Nous vous pr\u00e9senterons quelques caract\u00e9ristiques techniques int\u00e9ressantes, notamment la cannibalisation et les raisons pour lesquelles vous devez parfois mettre \u00e0 jour votre variable cible.<\/p>\n<\/div><\/div><\/div><\/div><\/div>
Qu'est-ce que c'est ?<\/strong><\/span><\/p>\n Chez Artefact, nous sommes tellement fran\u00e7ais que nous avons d\u00e9cid\u00e9 d'appliquer l'apprentissage automatique aux croissants. Ce premier article sur deux explique comment nous avons d\u00e9cid\u00e9 d'utiliser Catboost pour pr\u00e9dire les ventes de \u201cviennoiseries\u201d. Les caract\u00e9ristiques les plus importantes qui influencent les ventes sont les derni\u00e8res ventes hebdomadaires, le fait que le produit soit en promotion ou non et son prix.<\/p>\n Nous vous pr\u00e9senterons quelques caract\u00e9ristiques techniques int\u00e9ressantes, notamment la cannibalisation et les raisons pour lesquelles vous devez parfois mettre \u00e0 jour votre variable cible. Nous avons choisi la pr\u00e9cision des pr\u00e9visions et le biais comme mesures d'\u00e9valuation. Notre deuxi\u00e8me article vous expliquera comment nous avons mis ce mod\u00e8le en production et quelques bonnes pratiques de ML Ops.<\/p>\n Pour qui ?<\/strong><\/span><\/p>\n \u00c0 retenir ?<\/strong><\/span><\/p>\n Contexte<\/strong><\/span><\/p>\n Nous avons r\u00e9cemment travaill\u00e9 sur un sujet tr\u00e8s int\u00e9ressant et stimulant pour un grand d\u00e9taillant en France : Comment pr\u00e9voir la demande quotidienne de produits frais p\u00e9rissables tels que les p\u00e2tisseries, y compris nos chers croissants.<\/p>\n Ce d\u00e9taillant \u00e9tait confront\u00e9 \u00e0 un probl\u00e8me classique de cha\u00eene d'approvisionnement : chaque jour, ses boulangers doivent cuire une certaine quantit\u00e9 de produits frais et p\u00e9rissables : croissants, pains au chocolat, baguettes, tartes au citron, etc. La plupart de ces produits ne durent pas plus d'une journ\u00e9e, et s'ils ne sont pas vendus, ils sont consid\u00e9r\u00e9s comme un manque \u00e0 gagner. La plupart de ces produits ne durent pas plus d'une journ\u00e9e. S'ils ne sont pas vendus, ils sont consid\u00e9r\u00e9s comme des pertes de revenus. Le d\u00e9fi consiste \u00e0 pr\u00e9voir quotidiennement, sept jours \u00e0 l'avance, la quantit\u00e9 de chaque produit p\u00e9rissable pour chaque magasin. Ce projet vise donc \u00e0 am\u00e9liorer la disponibilit\u00e9 des produits en rayon tout en r\u00e9duisant le gaspillage alimentaire.<\/p>\n Pour pr\u00e9voir les ventes quelques jours \u00e0 l'avance, une solution interne utilisant des mesures statistiques simples \u00e9tait d\u00e9j\u00e0 utilis\u00e9e. Cependant, apr\u00e8s avoir rencontr\u00e9 les responsables de la boulangerie, nous avons compris qu'il y avait une nette marge d'am\u00e9lioration en tirant parti de plus de data et de caract\u00e9ristiques telles que les effets de saisonnalit\u00e9, la m\u00e9t\u00e9o, les vacances, les effets de substitution de produits, etc. Nous avons donc d\u00e9cid\u00e9 d'utiliser la solution actuelle comme r\u00e9f\u00e9rence et d'essayer des algorithmes plus r\u00e9cents pour am\u00e9liorer la pr\u00e9cision des pr\u00e9visions.<\/p>\n Et pour conclure cette introduction, une illustration du d\u00e9fi et de ce que nous voulons r\u00e9aliser.<\/p>\n D\u00e9veloppement de mod\u00e8les<\/strong><\/span><\/p>\n Maintenant que nous avons un probl\u00e8me bien d\u00e9fini et des objectifs \u00e0 atteindre, nous pouvons enfin commencer \u00e0 \u00e9crire du beau code python dans nos carnets - que le plaisir commence !<\/p>\n Demande Data<\/strong><\/span><\/p>\n Comme dans tout projet scientifique data, tout commence par data. D'apr\u00e8s notre exp\u00e9rience, nous vous recommandons vivement de demander data le plus t\u00f4t possible. N'h\u00e9sitez pas \u00e0 demander beaucoup de data et, pour chaque source de data, veillez \u00e0 identifier un r\u00e9f\u00e9rent, une personne que vous pouvez facilement contacter et \u00e0 qui vous pouvez poser vos questions sur la collection de data ou sur la fa\u00e7on dont le data est structur\u00e9.<\/p>\n Gr\u00e2ce aux diff\u00e9rentes r\u00e9unions, nous avons pu dresser une liste des data que nous pouvions utiliser :<\/p>\n Analyse exploratoire Data (EDA) et d\u00e9tection des valeurs aberrantes<\/strong><\/span><\/p>\n Une fois le data collect\u00e9, nous avons commenc\u00e9 \u00e0 l'analyser. Y a-t-il une saisonnalit\u00e9 dans mon data ? Une tendance ? Combien de produits ai-je ? Sont-ils constants dans le temps ? Y a-t-il des produits saisonniers ?<\/p>\n En tra\u00e7ant les diff\u00e9rentes s\u00e9ries temporelles, nous avons \u00e9galement rep\u00e9r\u00e9 quelques caract\u00e9ristiques int\u00e9ressantes :<\/p>\n Notez que nous avons cr\u00e9\u00e9 diff\u00e9rentes fonctionnalit\u00e9s li\u00e9es \u00e0 la tarification. Le prix absolu, mais aussi les prix relatifs par rapport aux autres produits de la m\u00eame sous-famille, famille ou magasin. Le prix relatif est un moyen de quantifier la cannibalisation des prix entre les produits. Nous avons \u00e9galement cr\u00e9\u00e9 des fonctions traduisant la variation du prix d'un produit dans le temps.<\/p>\n Pour des t\u00e2ches de pr\u00e9diction aussi terre \u00e0 terre, le diable se cache dans les d\u00e9tails et il est vraiment important de rechercher les valeurs aberrantes et les anomalies, de prendre le temps d'analyser votre data.<\/p>\n Mais tout d'abord, pourquoi devrions-nous nous pr\u00e9occuper de la d\u00e9tection des valeurs aberrantes ? Pour de nombreuses raisons, cela peut indiquer une mauvaise data, des erreurs dans les ETL, des processus commerciaux que vous ne connaissiez pas. Deuxi\u00e8mement, il est tr\u00e8s probable que cela ait un impact sur votre algorithme et la partie inf\u00e9rence, il s'agit donc d'une partie importante du d\u00e9veloppement.<\/p>\n Vous pouvez rep\u00e9rer les valeurs aberrantes \u00e0 diff\u00e9rents moments du projet, soit au cours de l'analyse exploratoire data (EDA), soit en analysant les erreurs les plus importantes de vos mod\u00e8les.<\/p>\n En effectuant l'AED, nous avons rep\u00e9r\u00e9 quelques data \u00e9tranges telles que les ventes B2B, par exemple 1800 ventes d'un seul article sur un seul re\u00e7u d'achat. Des valeurs aberrantes li\u00e9es \u00e0 la tarification, principalement dues \u00e0 des erreurs manuelles de la caissi\u00e8re : des prix n\u00e9gatifs ou un croissant co\u00fbtant 250 euros !<\/p>\n Nous avons remarqu\u00e9 que nos pr\u00e9dictions \u00e9taient parfois totalement fausses les premiers jours des p\u00e9riodes de promotion. Apr\u00e8s analyse, nous avons constat\u00e9 que cela \u00e9tait d\u00fb au fait que la promotion \u00e9tait lanc\u00e9e un jour avant ou apr\u00e8s le jour officiel. En effet, il arrive que le responsable prenne une certaine libert\u00e9 et d\u00e9cide de modifier le d\u00e9but ou la fin des promotions. Ces changements peuvent \u00eatre rep\u00e9r\u00e9s et corrig\u00e9s dans le jeu d'entra\u00eenement data mais peuvent conduire \u00e0 de grosses erreurs de pr\u00e9diction. En effet, les promotions peuvent atteindre des volumes 4 \u00e0 5 fois plus importants qu'en l'absence de promotion.<\/p>\n Voici une liste d'autres exemples int\u00e9ressants de processus et de m\u00e9canismes que nous avons d\u00e9couverts gr\u00e2ce \u00e0 cette analyse et que vous trouverez peut-\u00eatre dans vos projets :<\/p>\n De la pr\u00e9diction des ventes \u00e0 la pr\u00e9diction optimale des ventes<\/strong><\/span><\/p>\n Un d\u00e9fi nous a amen\u00e9s \u00e0 mettre \u00e0 jour notre variable cible. Parfois, en raison d'une influence inattendue ou d'une mauvaise pr\u00e9vision, le d\u00e9partement s'attendait \u00e0 une p\u00e9nurie de produits avant la fin de la journ\u00e9e. Deux ph\u00e9nom\u00e8nes peuvent alors se produire : le client ne trouvant pas son produit n'ach\u00e8te rien, ou ach\u00e8te un produit similaire. Sur la base de l'historique data, nous avons d\u00e9duit quelques lois de distribution (statistiques de base) qui nous ont permis de mod\u00e9liser cet impact et de mettre \u00e0 jour notre variable cible afin de pr\u00e9dire non pas les ventes historiques mais les ventes optimales pour un produit particulier.<\/p>\n Cette mise \u00e0 jour de la variable cible est d\u00e9licate car il est vraiment difficile de savoir si la mise \u00e0 jour a eu un sens. Avez-vous r\u00e9ellement am\u00e9lior\u00e9 la qualit\u00e9 du data ou l'avez-vous d\u00e9t\u00e9rior\u00e9e ? Une fa\u00e7on de quantifier notre impact a \u00e9t\u00e9 de prendre les ventes sans rupture de stock et de cr\u00e9er une fausse p\u00e9nurie, par exemple en supprimant toutes les ventes apr\u00e8s 17 ou 18 heures, puis en essayant de reconstituer les ventes. Cette m\u00e9thode nous permet de revenir \u00e0 un probl\u00e8me classique supervis\u00e9 que nous pouvons \u00e9valuer objectivement.<\/p>\n Nous avons ainsi pu pr\u00e9dire les ventes optimales et \u00e9viter que notre algorithme n'apprenne des sch\u00e9mas de p\u00e9nurie.<\/p>\n Nos mod\u00e8les<\/strong><\/span><\/p>\n Apr\u00e8s avoir correctement nettoy\u00e9 notre data, nous pouvons enfin tester et essayer quelques mod\u00e8les.<\/p>\n Vous disposez d'un grand nombre de possibilit\u00e9s pour r\u00e9soudre un probl\u00e8me de pr\u00e9vision : approches statistiques classiques (SARIMA, lissage exponentiel, proph\u00e8te, etc.), approches d'apprentissage automatique (r\u00e9gression lin\u00e9aire, algorithmes de boosting) ou apprentissage profond (RNN, LSTM, CNN). Comment choisir la bonne approche est une question d\u00e9licate, voici quelques \u00e9l\u00e9ments qui nous ont aid\u00e9s \u00e0 faire notre choix :<\/p>\n Pour ces raisons, nous avons d\u00e9cid\u00e9 de choisir Catboost comme mod\u00e8le. Catboost pr\u00e9sente de nombreux avantages tels que la gestion native des valeurs cat\u00e9gorielles et manquantes, la prise en charge d'un grand nombre de caract\u00e9ristiques, une bonne mise \u00e0 l'\u00e9chelle et la possibilit\u00e9 d'inf\u00e9rer un grand nombre de s\u00e9ries temporelles au sein d'un m\u00eame mod\u00e8le. De plus, il fournit un joli trac\u00e9 pendant l'apprentissage et s'int\u00e8gre tr\u00e8s facilement avec\u00a0SHAP<\/em>\u00a0pour l'importance de la caract\u00e9ristique.<\/p>\n Voici par exemple une capture d'\u00e9cran du trac\u00e9 interactif de l'algorithme pendant son apprentissage :<\/p>\n N\u00e9anmoins, l'un des inconv\u00e9nients des approches de ML pures est la n\u00e9cessit\u00e9 de coder vous-m\u00eame toutes les caract\u00e9ristiques, en particulier celles li\u00e9es au temps. Sans une forte ing\u00e9nierie des caract\u00e9ristiques, ces algorithmes seront incapables d'identifier les sch\u00e9mas temporels. De plus, ils ne peuvent d\u00e9duire qu'une p\u00e9riode de temps fixe, contrairement \u00e0 Sarima ou Prophet, o\u00f9 vous pouvez sp\u00e9cifier le nombre de jours \u00e0 pr\u00e9voir \u00e0 l'aide du param\u00e8tre periods.<\/p>\n Enfin, vous devez faire tr\u00e8s attention aux fuites de data, en particulier lorsque vous construisez votre dispositif de d\u00e9calage.<\/p>\n L'une des principales caract\u00e9ristiques n'\u00e9tait pas le d\u00e9calage hebdomadaire mais la moyenne des d\u00e9calages : J-7, J-14, J-21, ... etc. des six derni\u00e8res semaines. En effet, la caract\u00e9ristique non r\u00e9guli\u00e8re de nos s\u00e9ries temporelles, combin\u00e9e \u00e0 l'utilisation de promotions de temps \u00e0 autre, induit une saisonnalit\u00e9 floue, d'o\u00f9 l'utilisation d'une moyenne. Il est important de noter que l'utilisation de cette moyenne comme mod\u00e8le unique donne d\u00e9j\u00e0 de tr\u00e8s bonnes performances !<\/p>\n Un mod\u00e8le ou plusieurs mod\u00e8les<\/strong><\/span><\/p>\n En r\u00e9sum\u00e9, nous avons utilis\u00e9 un algorithme : Catboost, pour pr\u00e9dire l'ensemble de nos 10 000 s\u00e9ries temporelles, pour chaque produit et chaque magasin. Mais qu'en est-il si un article a un mod\u00e8le de vente vraiment particulier, ou un magasin sp\u00e9cifique ? L'algorithme pourrait-il identifier et apprendre ce mod\u00e8le ?<\/p>\n Ces questions nous am\u00e8nent \u00e0 nous demander si nous ne devrions pas regrouper nos produits et nos magasins et former un algorithme par groupe. M\u00eame si l'utilisation d'algorithmes d'arbres de d\u00e9cision devrait permettre de relever ce d\u00e9fi, nous avons observ\u00e9 des limites dans certains cas sp\u00e9cifiques.<\/p>\n Les algorithmes de stimulation sont des algorithmes it\u00e9ratifs, bas\u00e9s sur des apprenants faibles qui se concentrent sur leurs plus grosses erreurs. C'est \u00e9videmment un peu trop simplifi\u00e9, mais cela me permet de souligner l'une de leurs limites. Si vous n'avez pas normalis\u00e9 votre variable cible, votre algorithme se concentrera \u201cuniquement\u201d sur les produits pr\u00e9sentant de grosses erreurs, qui sont plus susceptibles d'\u00eatre ceux dont les ventes sont les plus importantes. Par cons\u00e9quent, l'algorithme peut se concentrer davantage sur les produits ou les magasins dont le volume de ventes est plus important.<\/p>\n Nous n'avons pas trouv\u00e9 la solution id\u00e9ale pour relever ce d\u00e9fi, mais nous avons observ\u00e9 quelques am\u00e9liorations en regroupant nos produits\/magasins par famille ou par fr\u00e9quence de vente.<\/p>\n L'un des avantages de l'apprentissage de plusieurs algorithmes est qu'il est possible d'utiliser plusieurs algorithmes :<\/p>\n Mais d'un autre c\u00f4t\u00e9, il sera plus difficile \u00e0 maintenir !<\/p>\n Finalement, nous avons d\u00e9cid\u00e9 d'adopter cette approche car elle donnait de meilleurs r\u00e9sultats.<\/p>\n<\/div><\/div><\/div><\/div><\/div> Comment \u00e9valuer notre mod\u00e8le ?<\/strong><\/span><\/p>\n Nous avons discut\u00e9 d'un grand nombre de mod\u00e8les et de leurs performances dans les sections pr\u00e9c\u00e9dentes. Mais comment \u00e9valuer un algorithme de pr\u00e9vision ? Il est \u00e9vident que ce probl\u00e8me est tr\u00e8s similaire \u00e0 tous les autres probl\u00e8mes d'apprentissage automatique, mais il a n\u00e9anmoins ses propres sp\u00e9cificit\u00e9s :<\/p>\n Comme nous l'avons d\u00e9j\u00e0 mentionn\u00e9, l'un des d\u00e9fis de la pr\u00e9vision des s\u00e9ries temporelles est d'\u00e9viter les fuites data. Cela peut se produire lors de la cr\u00e9ation de nos caract\u00e9ristiques : retards, normalisation de nos variables, etc...<\/p>\n Mais cela peut \u00e9galement se produire lors de la validation crois\u00e9e, en divisant les ensembles data de formation, de validation et de test.<\/p>\n Vous ne pouvez pas utiliser la m\u00e9thode classique\u00a0train_test_split()<\/em>\u00a0de sklearn. Pourquoi ? Imaginez que votre dataset soit les ventes de 2019, si vous divisez al\u00e9atoirement, vous vous entra\u00eenerez sur data de janv, f\u00e9v, ..., d\u00e9cembre 2019 et votre data de test aura les ventes des m\u00eames dates ! Par cons\u00e9quent, votre algorithme s'entra\u00eenera sur des mod\u00e8les qu'il n'aura pas en production, d'o\u00f9 un probl\u00e8me de fuite de data. Pour r\u00e9soudre ce probl\u00e8me, il existe d'autres fa\u00e7ons de diviser votre data, comme la fonction TimeSeriesSplit()<\/em>\u00a0\u00e9galement de sklearn.<\/p>\n 2. Le choix de la m\u00e9trique :<\/p>\n La pr\u00e9vision des s\u00e9ries temporelles est un probl\u00e8me de r\u00e9gression, c'est pourquoi nous pouvons utiliser les mesures classiques telles que MSE, RMSE, mais d'autres mesures sont \u00e9galement disponibles, dont voici une liste non exhaustive :<\/p>\n Nous avons optimis\u00e9 notre algorithme en utilisant le RMSE, mais pour communiquer avec nos propri\u00e9taires d'entreprise, nous avons utilis\u00e9 une pr\u00e9cision de pr\u00e9vision pond\u00e9r\u00e9e :<\/p>\n Nous l'avons d'abord calcul\u00e9e au niveau de la journ\u00e9e et du magasin, puis nous l'avons agr\u00e9g\u00e9e par magasin \u00e0 l'aide d'une moyenne pond\u00e9r\u00e9e, les pond\u00e9rations \u00e9tant les ventes par jour des diff\u00e9rents magasins. Cette mesure peut \u00e9videmment \u00eatre contest\u00e9e, mais elle pr\u00e9sente l'avantage d'avoir une valeur pour chaque magasin et, si un jour le directeur r\u00e9alise une performance vraiment sup\u00e9rieure (mauvaise ou bonne), elle n'est pas surestim\u00e9e. En outre, l'AF est une mesure r\u00e9ellement interpr\u00e9table qui parle \u00e0 l'entreprise, contrairement \u00e0 la RMSE.<\/p>\n Enfin, une autre mesure int\u00e9ressante \u00e0 garder \u00e0 l'esprit est le biais, qui introduit la tendance g\u00e9n\u00e9rale de l'algorithme \u00e0 sur-pr\u00e9dire ou \u00e0 sous-pr\u00e9dire. En fonction de l'analyse de rentabilit\u00e9, vous voudrez peut-\u00eatre privil\u00e9gier l'une ou l'autre de ces tendances. Dans notre cas, nous avons l\u00e9g\u00e8rement surestim\u00e9 les pr\u00e9visions afin d'\u00eatre s\u00fbrs d'avoir le produit en rayon et de satisfaire nos clients !<\/p>\n En conclusion, quelques conseils pour les projets data<\/strong><\/span><\/p>\n J'ai pens\u00e9 qu'il serait \u00e9galement int\u00e9ressant de partager avec vous quelques conseils et erreurs que nous commettons au niveau des projets.<\/p>\n Tout d'abord, comment avons-nous d\u00e9velopp\u00e9 nos mod\u00e8les, notre ing\u00e9nierie des fonctionnalit\u00e9s ?<\/p>\n Toutes ces diff\u00e9rentes \u00e9tapes, exp\u00e9riences ont \u00e9t\u00e9 r\u00e9alis\u00e9es dans des cahiers, mais l'utilisation de cahiers n'est pas synonyme de code sale ! Au contraire, nous vous recommandons vivement de prendre le temps d'\u00e9crire des carnets corrects avec des titres, des noms propres, des fonctions, et de factoriser les lignes redondantes.<\/p>\n L'utilisation de notebooks soul\u00e8ve quelques d\u00e9fis, en particulier lorsque de nombreux d\u00e9veloppeurs travaillent ensemble : conflits sur github, code non r\u00e9plicable, etc...<\/p>\n Voici quelques conseils pour r\u00e9duire ces probl\u00e8mes :<\/p>\n Principaux enseignements<\/strong><\/span><\/p>\n Nous aurions aim\u00e9 partager avec vous nos r\u00e9sultats, mais nous n'avons pas \u00e9t\u00e9 autoris\u00e9s \u00e0 le faire pour des raisons de confidentialit\u00e9 :<\/p>\n Mais d'un autre c\u00f4t\u00e9, voici la liste de nos plus grands apprentissages qui, je l'esp\u00e8re, vous aideront \u00e0 d\u00e9velopper votre propre solution :<\/p>\n\n
\n
![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2020\/11\/0_tmryqg1LTyu3u_b8.jpeg\")
<\/p>\n\n
\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/01TAXEHqr9CLKkcfH.png\")
<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/figure>\n\n
\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/0IHYfQrWymxriIbmh.png\")
<\/p>\n<\/div>\n\n
\n
\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/1TMosktPGqo5c6MG4bQVw8g.png\")
<\/p>\n<\/div>\n\n
\n
\n
![](\"https:\/\/www.artefact.com\/wp-content\/uploads\/2020\/06\/Global-Newsletter-Data-Digest_LinkedIn_600x315_april.jpg\" "\\"data-driven\\"")
<\/span><\/div><\/div><\/div>