{"id":65478,"date":"2021-11-26T14:35:34","date_gmt":"2021-11-26T14:35:34","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=news&p=65478"},"modified":"2024-09-20T17:45:47","modified_gmt":"2024-09-20T16:45:47","slug":"the-path-to-developing-a-high-performance-demand-forecasting-model-part-4","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/fr\/blog\/the-path-to-developing-a-high-performance-demand-forecasting-model-part-4\/","title":{"rendered":"Comment d\u00e9velopper un mod\u00e8le de pr\u00e9vision de la demande performant - Partie 4"},"content":{"rendered":"

Auteur<\/h2><\/div>\"Image\"

Kasra Mansouri<\/h3><\/div>

Scientifique senior Data \u00e0 Artefact<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Lisez notre article sur<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Jusqu'\u00e0 pr\u00e9sent, nous avons surtout parl\u00e9 des pr\u00e9visions concernant les produits courants qui sont sur les \u00e9tag\u00e8res depuis un certain temps. Mais qu'en est-il des produits qui ont \u00e9t\u00e9 lanc\u00e9s tr\u00e8s r\u00e9cemment ?
\nDans cet article, nous allons vous montrer comment nous avons r\u00e9solu ce probl\u00e8me en proposant une solution alternative \u00e0 notre mod\u00e8le de stimulation bas\u00e9 sur les produits similaires.
\nIl s'agit d'entra\u00eener un mod\u00e8le de regroupement sur les anciennes innovations afin de d\u00e9tecter les similitudes entre les mod\u00e8les de vente, de les mettre en correspondance avec les caract\u00e9ristiques du produit \u00e0 l'aide d'un mod\u00e8le de classification, puis de d\u00e9duire les ventes de la nouvelle innovation \u00e0 l'aide de m\u00e9thodes statistiques simples bas\u00e9es sur les r\u00e9sultats des mod\u00e8les 1 et 2.<\/p>\n<\/div>

Pourquoi est-il si difficile de pr\u00e9voir les produits lanc\u00e9s sur le march\u00e9 ?<\/h1><\/div>

Un peu de contexte<\/h2><\/div>

Les lancements de produits sont tr\u00e8s courants dans le commerce de d\u00e9tail. Il est dans la nature des entreprises de produits de grande consommation de diversifier leurs produits. Elles veulent s\u00e9duire leurs clients et adapter leurs produits aux changements de comportement. L'entreprise pour laquelle nous avons r\u00e9alis\u00e9 ce projet ne fait pas exception \u00e0 la r\u00e8gle : elle lance pr\u00e8s de 50 \u00e0 60 innovations (nouveaux produits) chaque ann\u00e9e.
\nNous d\u00e9finissons une innovation comme le lancement d'une nouvelle marque de produit ou l'introduction d'un nouveau produit avec une nouvelle saveur dans une marque d\u00e9j\u00e0 existante. Apr\u00e8s un certain temps (par exemple, dans notre cas, deux mois), une innovation devient un produit ordinaire.
\nIl existe d'autres cas o\u00f9 un nouveau code produit peut \u00eatre g\u00e9n\u00e9r\u00e9, par exemple<\/p>\n<\/div>

  • <\/i><\/span>
    L\u00e9g\u00e8re modification du poids d'un produit existant<\/div><\/li>
  • <\/i><\/span>
    L\u00e9g\u00e8re modification de la formule d'un produit existant<\/div><\/li>
  • <\/i><\/span>
    Changement d'usine produisant le produit<\/div><\/li><\/ul>

    Nous n'avons pas consid\u00e9r\u00e9 ces cas comme des innovations mais comme des r\u00e9novations et ils sont donc hors de notre champ.Nous avons eu acc\u00e8s aux lancements de produits avec des ventes data de 2017 \u00e0 2019, soit environ 150 produits d'innovation.<\/p>\n<\/div>

    Le principal d\u00e9fi<\/h2><\/div>

    Notre t\u00e2che consistait \u00e0 \u00e9tablir des pr\u00e9visions hebdomadaires pour les 14 semaines \u00e0 venir au niveau de l'Union europ\u00e9enne.\u00a0entrep\u00f4t\/quotidien\/produit<\/strong>\u00a0niveau.
    \nLa premi\u00e8re fois que le mod\u00e8le a d\u00fb \u00eatre appliqu\u00e9, c'\u00e9tait pour la premi\u00e8re fois.\u00a07 jours apr\u00e8s son lancement<\/strong>, Cela signifie qu'il ne dispose que de 7 jours d'historique data et qu'il doit pr\u00e9voir les ventes pour les 14 x 7 = 98 jours \u00e0 venir ! La derni\u00e8re fois que nous avons d\u00fb appliquer le mod\u00e8le, c'\u00e9tait pour\u00a060 jours apr\u00e8s le lancement<\/strong>. Cela signifie qu'un produit lanc\u00e9 serait consid\u00e9r\u00e9 comme un \u201cproduit normal\u201d apr\u00e8s 2 mois, puisqu'il aurait atteint une certaine \u201cstabilit\u00e9\u201d dans ses cycles de vente, mais bien s\u00fbr, cela d\u00e9pendra de l'activit\u00e9 de votre entreprise et de la nature du produit. Apr\u00e8s cette phase de deux mois, le mod\u00e8le de base (mod\u00e8le d\u00e9velopp\u00e9 pour les produits r\u00e9guliers) prend le relais du mod\u00e8le d'innovation et \u00e9tablit des pr\u00e9visions pour le lancement en question. Cette d\u00e9cision a \u00e9t\u00e9 valid\u00e9e par les \u00e9quipes commerciales qui avaient une certaine connaissance des cycles de vente des innovations.<\/p>\n<\/div>

    Historique tr\u00e8s limit\u00e9 data<\/h3><\/div>

    La quantit\u00e9 de donn\u00e9es historiques data dont nous disposons est extr\u00eamement faible pour \u00e9tablir des pr\u00e9visions pr\u00e9cises. Nous disposons d'un ensemble data d'entra\u00eenement qui est beaucoup plus petit que notre ensemble data de pr\u00e9diction\/test, ce qui se traduit souvent par une tr\u00e8s faible pr\u00e9cision des pr\u00e9visions. Il s'agit de disposer de quelques semaines de data d'entra\u00eenement et de devoir faire des pr\u00e9visions pour 98 jours.<\/p>\n<\/div>

    Les produits lanc\u00e9s ont des ventes tr\u00e8s instables au d\u00e9but.<\/h3><\/div>

    En outre,\u00a0les ventes data sont souvent tr\u00e8s irr\u00e9guli\u00e8res au cours des premi\u00e8res semaines de lancement, car les tendances peuvent changer radicalement.<\/strong>. En fait, les d\u00e9taillants commandent d'\u00e9normes quantit\u00e9s de l'innovation au cours des deux premi\u00e8res semaines pour remplir leurs rayons.\u00a0la phase d'ex\u00e9cution.\u00a0<\/em>Ensuite, les commandes chutent g\u00e9n\u00e9ralement sur W3 et W4, puis elles augmentent l\u00e9g\u00e8rement.
    \nL\u00e0 encore, beaucoup de choses peuvent se produire : certains d\u00e9taillants peuvent se rendre compte que le nouveau produit ne se vend pas tr\u00e8s bien au cours des premi\u00e8res semaines dans leurs magasins et, par cons\u00e9quent, r\u00e9duire drastiquement leurs commandes en guise de r\u00e9action rapide. Ou bien un produit peut faire l'objet d'\u00e9normes volumes de commandes de la part de certains d\u00e9taillants que le fabricant n'est pas en mesure de satisfaire enti\u00e8rement parce qu'il n'a pas anticip\u00e9 ce niveau de demande. Les d\u00e9taillants continueront \u00e0 commander des volumes importants au cours des semaines suivantes pour compenser les volumes pour lesquels ils n'ont pas \u00e9t\u00e9 enti\u00e8rement livr\u00e9s.<\/p>\n<\/div>\"Image\"

    Tous les \u00e9l\u00e9ments \u00e9num\u00e9r\u00e9s ci-dessus expliquent clairement pourquoi il est difficile de pr\u00e9voir les ventes d'innovations et donc pourquoi nous avons d\u00fb d\u00e9velopper un mod\u00e8le sp\u00e9cifique pour ces produits.<\/p>\n<\/div>

    Crit\u00e8res d'\u00e9valuation<\/h2><\/div>

    Nous avons utilis\u00e9 les m\u00eames crit\u00e8res d'\u00e9valuation que pour les produits r\u00e9guliers (pr\u00e9cision des pr\u00e9visions W+1 et W+2 au niveau national\/hebdomadaire). Pour rappel, voici la formule de la pr\u00e9cision d'une pr\u00e9vision :<\/p>\n<\/div>\"Image\"

    Nous avons ajout\u00e9 une autre dimension \u00e0 ce probl\u00e8me. Nous avons calcul\u00e9 ces param\u00e8tres pour chaque\u00a0date de pr\u00e9diction<\/em>\u00a0(date \u00e0 laquelle nous faisons notre pr\u00e9diction) en ce qui concerne la date de lancement.
    \nNous avons contr\u00f4l\u00e9 la pr\u00e9cision des pr\u00e9visions W+1 et W+2 pour des dates de pr\u00e9vision allant de J+7 \u00e0 J+49, ce qui signifie que notre tableau de bord ressemblerait \u00e0 ceci :<\/p>\n<\/div>\"Image\"

    La raison pour laquelle nous avons ajout\u00e9 cette dimension est qu'il est tr\u00e8s important pour les planificateurs de la demande de surveiller les performances de leurs pr\u00e9visions au cours des premi\u00e8res semaines de lancement. Un mod\u00e8le qui fournit des pr\u00e9visions de bonne qualit\u00e9 au cours des premi\u00e8res semaines leur permet d'\u00e9viter les gros probl\u00e8mes de r\u00e9approvisionnement (qui sont fr\u00e9quents apr\u00e8s le lancement en raison de l'incertitude) et, en fin de compte, de r\u00e9ussir leur lancement.<\/p>\n<\/div>

    Approche propos\u00e9e<\/h1><\/div>

    Pourquoi la ML classique n'a-t-elle pas donn\u00e9 de bons r\u00e9sultats ?<\/h2><\/div>

    Comme nous l'avons dit pr\u00e9c\u00e9demment, nous sommes confront\u00e9s \u00e0 un probl\u00e8me de \u201cpetite data\u201d. La petite taille de notre data d'entra\u00eenement et sa nature tr\u00e8s erratique ne conviennent pas \u00e0 un mod\u00e8le d'apprentissage automatique.
    \nLe plus souvent, les mod\u00e8les de boosting n\u00e9cessitent 2 \u00e0 3 ans d'historique des ventes data pour d\u00e9tecter les tendances g\u00e9n\u00e9rales\/effets de saisonnalit\u00e9 et au moins 2 \u00e0 3 mois de s\u00e9ries temporelles data pour un produit afin de faire des \u201cpr\u00e9dictions pr\u00e9cises\u201d. Ce n'\u00e9tait pas le cas pour nous ; notre mod\u00e8le XGBoost ne voyait que quelques semaines d'historique des ventes pour chaque produit.
    \nNous avons form\u00e9 un mod\u00e8le XGBoost sur les produits innovants selon la logique suivante<\/p>\n<\/div>

    • <\/i><\/span>
      Nous avons form\u00e9 un mod\u00e8le au niveau produit\/national\/quotidien. L'id\u00e9e \u00e9tait de d\u00e9sagr\u00e9ger les pr\u00e9visions au niveau des produits\/journaliers\/d\u00e9taillants \u00e0 l'aide de certaines r\u00e8gles commerciales.<\/div><\/li>
    • <\/i><\/span>
      Nous avons aliment\u00e9 le mod\u00e8le avec les m\u00eames caract\u00e9ristiques que le mod\u00e8le de base, \u00e0 l'exception d'une caract\u00e9ristique suppl\u00e9mentaire qui est la date de lancement du produit.<\/div><\/li>
    • <\/i><\/span>
      Nous avons effectu\u00e9 la formation\/le test sur la base des produits<\/div><\/li>
    • <\/i><\/span>
      Tous les produits lanc\u00e9s avant 2019 ont \u00e9t\u00e9 inclus dans l'ensemble d'entra\u00eenement, c'est-\u00e0-dire que nous avons plac\u00e9 leurs ventes au cours de leurs deux premiers mois dans l'ensemble d'entra\u00eenement.<\/div><\/li>
    • <\/i><\/span>
      Tous les produits lanc\u00e9s apr\u00e8s 2019 ont \u00e9t\u00e9 inclus dans l'ensemble de test.<\/div><\/li>
    • <\/i><\/span>
      Le mod\u00e8le est entra\u00een\u00e9 plusieurs fois, chaque fois jusqu'\u00e0 la veille de la date de pr\u00e9diction (J+7, J+14, etc.).<\/div><\/li><\/ul>

      Et les r\u00e9sultats n'\u00e9taient pas bons du tout ! Nous avons donc d\u00e9cid\u00e9 de changer compl\u00e8tement notre approche pour ces produits.<\/p>\n<\/div>\"Image\"

      Les mod\u00e8les classiques de s\u00e9ries temporelles n'ont pas non plus sauv\u00e9 la situation<\/h2><\/div>

      Notre premi\u00e8re tentative avec XGBoost ayant \u00e9t\u00e9 un \u00e9chec total, nous avons d\u00e9cid\u00e9 de tenter notre chance avec quelques bons vieux mod\u00e8les de s\u00e9ries temporelles (VARMA, SARIMAX, Prophet, etc.). Les mod\u00e8les de s\u00e9ries temporelles ont la vertu d'\u00eatre plus simples et plus faciles \u00e0 interpr\u00e9ter que les mod\u00e8les de boosting. De plus, comme ils sont entra\u00een\u00e9s sur un seul produit, ils s'adaptent plus facilement aux changements brusques de tendance.
      \nL'id\u00e9e \u00e9tait d'entra\u00eener un mod\u00e8le (un mod\u00e8le Prophet par exemple) par produit qui ferait des pr\u00e9visions au niveau national\/quotidien. Comme ci-dessus, le mod\u00e8le serait entra\u00een\u00e9 plusieurs fois, chaque fois jusqu'\u00e0 la veille de la date de pr\u00e9vision (J+7, J+14, etc.) et ferait des pr\u00e9visions pour l'horizon de 14 semaines.
      \nMais ici, comme ci-dessus, les r\u00e9sultats n'\u00e9taient toujours pas satisfaisants et la raison \u00e9tait \u00e0 peu pr\u00e8s la m\u00eame : pas assez d'historique data ! L'historique \u00e9tait trop peu profond et le data \u00e9tait trop d\u00e9sordonn\u00e9 pour que le mod\u00e8le puisse comprendre un mod\u00e8le clair et faire des pr\u00e9dictions pr\u00e9cises.<\/p>\n<\/div>\"Image\"

      Regroupement de produits bas\u00e9 sur les ressemblances : le Messie<\/h2><\/div>

      Nos deux premi\u00e8res tentatives de pr\u00e9visions n'ayant pas \u00e9t\u00e9 concluantes, nous avons d\u00e9cid\u00e9 de nous engager dans une toute autre voie.
      \nNous avons analys\u00e9 les ventes de toutes les innovations de 2017 \u00e0 2019 et nous avons r\u00e9alis\u00e9 que beaucoup d'entre elles avaient des courbes de ventes similaires au cours des premiers mois de leur lancement respectif, ce qui nous a donn\u00e9 l'id\u00e9e de faire des pr\u00e9visions bas\u00e9es sur les similitudes des produits avec d'anciennes innovations. Notre intuition a \u00e9t\u00e9 renforc\u00e9e par le fait que nous avons trouv\u00e9 des articles de recherche d'autres coll\u00e8gues scientifiques de data sugg\u00e9rant une approche similaire (1).
      \nNotre approche a consist\u00e9 en trois \u00e9tapes fondamentales<\/p>\n<\/div>

      Regroupement des anciennes innovations en fonction des ventes - p\u00e9rim\u00e8tre Data : Innovations lanc\u00e9es de 2017 \u00e0 2018 incluses<\/h3><\/div>

      L'id\u00e9e est de regrouper les anciennes innovations sur la base de leur courbe chronologique en groupes de produits similaires. Les produits appartenant \u00e0 un m\u00eame groupe ont des mod\u00e8les de vente similaires et les ventes d'une innovation unique peuvent donc \u00eatre d\u00e9duites de la connaissance des ventes d'innovations plus anciennes.
      \nNotre entr\u00e9e data \u00e9tait la\u00a0Ventes cumul\u00e9es normalis\u00e9es MinMax des anciennes innovations au cours de leurs 5 premiers mois d'existence<\/strong>. Nous avons examin\u00e9 les ventes cumul\u00e9es parce que nous voulions que notre mod\u00e8le de regroupement ait une id\u00e9e du moment o\u00f9 chaque produit atteindrait son rythme de vente habituel. Nous avons normalis\u00e9 les ventes cumul\u00e9es parce que certains produits avaient la m\u00eame forme de courbe mais un volume de ventes diff\u00e9rent et que nous voulions les placer dans le m\u00eame groupe, puisque nous nous concentrons ici sur la similarit\u00e9.
      \nNous avons regroup\u00e9 nos produits avec un\u00a0Mod\u00e8le K-Means<\/strong>\u00a0le param\u00e8tre K \u00e9tant choisi automatiquement \u00e0 l'aide d'un test de r\u00e9f\u00e9rence utilisant la m\u00e9thode\u00a0Index des silhouettes<\/em>.Le nombre optimal \u00e9tait K=4.<\/strong>Nous avons \u00e9galement essay\u00e9 diff\u00e9rentes mesures de distance entre les\u00a0euclidienne<\/em>\u00a0et\u00a0DTW,\u00a0<\/em>avec euclidean qui a donn\u00e9 des r\u00e9sultats plus satisfaisants lors de nos tests.<\/p>\n<\/div>\"Image\"\"Image\"

      Mod\u00e8le de classification pr\u00e9disant la grappe d'un produit en fonction de ses attributs - Data scope : Innovations lanc\u00e9es de 2017 \u00e0 2018 incluses<\/h3><\/div>

      L'id\u00e9e est ici de trouver un lien entre le groupe auquel le produit appartient et ses attributs, tels que la dimension, la marque, la saveur, etc. ainsi que certains \u00e9l\u00e9ments contextuels tels que la p\u00e9riode de lancement, les campagnes m\u00e9diatiques, etc. Ce lien serait trouv\u00e9 \u00e0 l'aide d'un mod\u00e8le de classification.
      \nLe mod\u00e8le serait aliment\u00e9 par les attributs du produit ainsi que par le contexte data et il essaierait de pr\u00e9dire le groupe d'innovations sur la base de ces attributs. L'intuition derri\u00e8re cette approche est de voir si nous pouvons r\u00e9pondre \u00e0 la question suivante :
      \nSi nous connaissons \u00e0 l'avance les attributs d'une innovation + le contexte data, pouvons-nous pr\u00e9dire le type de comportement de vente que ce produit aura apr\u00e8s son lancement ?<\/em><\/strong>
      \n\u00c9tant donn\u00e9 que nous disposions d'un nombre tr\u00e8s limit\u00e9 de data (environ 100 produits), nous avons form\u00e9 un simple classificateur de bagging sur nos produits avec une r\u00e9partition 75%-25% entre la formation et le test. Nous avons obtenu un\u00a0Score F1 de 84%<\/strong>\u00a0sur l'ensemble de tests.
      \nNous avons effectu\u00e9 une analyse des attributs des produits pour voir si nous pouvions trouver une explication commerciale pour chaque groupe et voici nos conclusions :<\/p>\n<\/div>