{"id":65478,"date":"2021-11-26T14:35:34","date_gmt":"2021-11-26T14:35:34","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=news&p=65478"},"modified":"2024-09-20T17:45:47","modified_gmt":"2024-09-20T16:45:47","slug":"the-path-to-developing-a-high-performance-demand-forecasting-model-part-4","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/es\/blog\/the-path-to-developing-a-high-performance-demand-forecasting-model-part-4\/","title":{"rendered":"El camino hacia el desarrollo de un modelo de previsi\u00f3n de la demanda de alto rendimiento - Parte 4"},"content":{"rendered":"

Autor<\/h2><\/div>\"Image\"

Kasra Mansouri<\/h3><\/div>

Cient\u00edfico Senior Data en Artefact<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Lea nuestro art\u00edculo sobre<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Hasta ahora hemos hablado principalmente de la previsi\u00f3n de productos habituales que llevan bastante tiempo en el lineal. Pero, \u00bfqu\u00e9 ocurre con los productos que se han lanzado muy recientemente?
\nEn este art\u00edculo le mostraremos c\u00f3mo abordamos esta cuesti\u00f3n proponiendo una soluci\u00f3n alternativa a nuestro modelo de refuerzo basado en productos parecidos.
\nConsiste en entrenar un modelo de agrupaci\u00f3n en innovaciones antiguas para detectar similitudes en los patrones de ventas, luego asignar eso a las caracter\u00edsticas del producto con un modelo de clasificaci\u00f3n y despu\u00e9s inferir las ventas de la nueva innovaci\u00f3n con m\u00e9todos estad\u00edsticos simples basados en los resultados de los modelos 1 y 2.<\/p>\n<\/div>

\u00bfPor qu\u00e9 es tan dif\u00edcil prever los productos lanzados?<\/h1><\/div>

Un poco de contexto<\/h2><\/div>

Los lanzamientos de productos son muy habituales en el comercio minorista. Est\u00e1 en la naturaleza de las empresas de bienes de consumo diversificar sus productos. Quieren atraer a sus clientes y adaptar sus productos a los cambios de comportamiento. Y la empresa para la que hicimos el proyecto no era una excepci\u00f3n, casi lanzan entre 50 y 60 innovaciones (nuevos productos) cada a\u00f1o.
\nDefinimos una innovaci\u00f3n m\u00e1s bien como el lanzamiento de una nueva marca de producto o la introducci\u00f3n de un nuevo producto con un nuevo sabor en una marca ya existente. Al cabo de cierto tiempo (por ejemplo, en nuestro caso, 2 meses) una innovaci\u00f3n se convierte en un producto habitual.
\nHay otros casos en los que se puede generar un nuevo c\u00f3digo de producto como<\/p>\n<\/div>

  • <\/i><\/span>
    Ligero cambio en el peso de un producto existente<\/div><\/li>
  • <\/i><\/span>
    Ligero cambio en la f\u00f3rmula de un producto existente<\/div><\/li>
  • <\/i><\/span>
    Cambio de f\u00e1brica productora<\/div><\/li><\/ul>

    No consideramos estos casos como innovaciones sino como renovaciones y por lo tanto est\u00e1n fuera de nuestro alcance.Tuvimos acceso a lanzamientos de productos con ventas data de 2017 a 2019, por lo que aproximadamente 150 productos de innovaci\u00f3n.<\/p>\n<\/div>

    El principal reto<\/h2><\/div>

    Nuestro trabajo consist\u00eda en hacer previsiones semanales para las 14 semanas siguientes en\u00a0almac\u00e9n\/diario\/producto<\/strong>\u00a0nivel.
    \nLa primera vez que hubo que aplicar el modelo fue\u00a07 d\u00edas despu\u00e9s de su lanzamiento<\/strong>, lo que significa que s\u00f3lo dispondr\u00eda de 7 d\u00edas de data hist\u00f3rico y \u00a1ten\u00eda que predecir las ventas de los pr\u00f3ximos 14 x 7 = 98 d\u00edas! La \u00faltima vez que tuvimos que aplicar el modelo fue\u00a060 d\u00edas despu\u00e9s del lanzamiento<\/strong>. Esto significa que un producto lanzado se considerar\u00eda un \u201cproducto regular\u201d al cabo de 2 meses, ya que habr\u00eda alcanzado cierta \u201cestabilidad\u201d en sus ciclos de venta, pero por supuesto, esto depender\u00e1 de la actividad de su empresa y de la naturaleza del producto. Despu\u00e9s de esta fase de 2 meses, el modelo central (modelo desarrollado para los productos regulares) tomar\u00eda el relevo del modelo de innovaci\u00f3n y har\u00eda previsiones para el lanzamiento en cuesti\u00f3n, esta decisi\u00f3n fue validada por los equipos comerciales que ten\u00edan algunos conocimientos sobre los ciclos de venta de las innovaciones.<\/p>\n<\/div>

    Hist\u00f3rico muy limitado data<\/h3><\/div>

    La cantidad de data hist\u00f3ricos de que disponemos es cr\u00edticamente baja para hacer previsiones precisas. Disponemos de un conjunto de data de entrenamiento que es mucho menor que nuestro conjunto de data de predicci\u00f3n\/prueba y eso a menudo conlleva una precisi\u00f3n de previsi\u00f3n muy pobre. Estamos hablando de disponer de unas pocas semanas en data de entrenamiento y tener que hacer previsiones para 98 d\u00edas.<\/p>\n<\/div>

    Los productos lanzados tienen ventas muy inestables al principio<\/h3><\/div>

    Adem\u00e1s,\u00a0las ventas data suelen ser muy desordenadas durante las primeras semanas de lanzamiento, ya que las tendencias pueden cambiar dr\u00e1sticamente<\/strong>. De hecho los minoristas piden grandes cantidades de la innovaci\u00f3n en las 2 primeras semanas para llenar sus estanter\u00edas, a esto lo llaman el\u00a0fase de cumplimiento.\u00a0<\/em>Despu\u00e9s de eso los pedidos caen generalmente en W3 y W4 y luego aumentan un poco.
    \nDe nuevo, aqu\u00ed pueden ocurrir muchas cosas: algunos minoristas pueden darse cuenta de que el nuevo producto no se vende muy bien durante las primeras semanas en sus tiendas y, por tanto, reducir dr\u00e1sticamente sus pedidos como reacci\u00f3n r\u00e1pida. O puede que un producto tenga grandes vol\u00famenes de pedidos de algunos minoristas que el fabricante no pueda satisfacer totalmente porque no hab\u00eda previsto este nivel de demanda. Los minoristas seguir\u00e1n haciendo pedidos de grandes vol\u00famenes durante las semanas siguientes para compensar los vol\u00famenes que no se les suministraron en su totalidad.<\/p>\n<\/div>\"Image\"

    Todos los elementos enumerados anteriormente son una clara explicaci\u00f3n de por qu\u00e9 es dif\u00edcil predecir las ventas de innovaci\u00f3n y, por tanto, de por qu\u00e9 hemos tenido que desarrollar un modelo espec\u00edfico para estos productos.<\/p>\n<\/div>

    Criterios de evaluaci\u00f3n<\/h2><\/div>

    Tuvimos las mismas m\u00e9tricas de evaluaci\u00f3n que para los productos normales (precisiones de previsi\u00f3n W+1 y W+2 a nivel nacional\/semanal). A modo de recordatorio, he aqu\u00ed la f\u00f3rmula de una precisi\u00f3n de previsi\u00f3n:<\/p>\n<\/div>\"Image\"

    A\u00f1adimos otra dimensi\u00f3n a este problema. Calculamos estas m\u00e9tricas para cada\u00a0fecha de predicci\u00f3n<\/em>\u00a0(fecha en la que hacemos nuestra predicci\u00f3n) con respecto a la fecha de lanzamiento.
    \nControlamos las precisiones de los pron\u00f3sticos W+1 y W+2 para las fechas de predicci\u00f3n que van desde D+7 hasta D+49, lo que significa que nuestra tabla de puntuaci\u00f3n tendr\u00eda este aspecto:<\/p>\n<\/div>\"Image\"

    La raz\u00f3n por la que a\u00f1adimos esta dimensi\u00f3n es que para los planificadores de la demanda es realmente importante controlar el rendimiento de sus previsiones durante las primeras semanas de lanzamiento. Un modelo que proporcione previsiones de buena calidad durante las primeras semanas les permite evitar grandes problemas de reabastecimiento (habituales tras el lanzamiento debido a la incertidumbre) y, en \u00faltima instancia, tener \u00e9xito en su lanzamiento.<\/p>\n<\/div>

    Enfoque propuesto<\/h1><\/div>

    \u00bfPor qu\u00e9 el ML cl\u00e1sico dio malos resultados?<\/h2><\/div>

    Como ya hemos dicho, tenemos un problema de \u201cdata peque\u00f1o\u201d. El peque\u00f1o tama\u00f1o de nuestro data de entrenamiento y su naturaleza muy err\u00e1tica lo hacen inadecuado para un modelo de aprendizaje autom\u00e1tico.
    \nLa mayor\u00eda de las veces, los modelos de boosting requieren 2-3 a\u00f1os de ventas hist\u00f3ricas data para detectar tendencias generales\/efectos de estacionalidad y al menos 2-3 meses de series temporales data de un producto para hacer \u201cpredicciones precisas\u201d. Este no era nuestro caso; nuestro modelo XGBoost s\u00f3lo ve\u00eda unas pocas semanas de ventas hist\u00f3ricas para cada producto.
    \nEntrenamos un modelo XGBoost sobre productos innovadores con la siguiente l\u00f3gica<\/p>\n<\/div>

    • <\/i><\/span>
      Entrenamos un modelo a nivel de producto\/nacional\/diario. La idea era desglosar despu\u00e9s las previsiones a nivel de productos\/diario\/minorista con algunas reglas empresariales.<\/div><\/li>
    • <\/i><\/span>
      Alimentamos el modelo con las mismas caracter\u00edsticas que el modelo b\u00e1sico, con la excepci\u00f3n de una caracter\u00edstica adicional que es la fecha de lanzamiento del producto.<\/div><\/li>
    • <\/i><\/span>
      Realizamos el entrenamiento\/prueba bas\u00e1ndonos en los productos<\/div><\/li>
    • <\/i><\/span>
      Todos los productos lanzados antes de 2019 estaban en el conjunto de entrenamiento, por ejemplo, pusimos sus ventas durante sus 2 primeros meses en el conjunto de entrenamiento<\/div><\/li>
    • <\/i><\/span>
      Todos los productos lanzados despu\u00e9s de 2019 estaban en el conjunto de prueba.<\/div><\/li>
    • <\/i><\/span>
      El modelo se entrenar\u00eda varias veces, cada vez hasta el d\u00eda anterior a la fecha de predicci\u00f3n (D+7, D+14, etc.)<\/div><\/li><\/ul>

      \u00a1Y los resultados no fueron nada buenos! Por ello decidimos cambiar completamente nuestro enfoque para estos productos.<\/p>\n<\/div>\"Image\"

      Los modelos cl\u00e1sicos de series temporales tampoco salvaron el d\u00eda<\/h2><\/div>

      Dado que nuestra primera iteraci\u00f3n con XGBoost fue un fracaso total, decidimos probar suerte con algunos modelos de series temporales a la antigua usanza (VARMA, SARIMAX, Prophet, etc.). Los modelos de series temporales tienen la virtud de ser m\u00e1s sencillos y f\u00e1ciles de interpretar que los modelos boosting. Adem\u00e1s, como se entrenan con un solo producto, pueden adaptarse m\u00e1s f\u00e1cilmente a los cambios bruscos de tendencia.
      \nLa idea era entrenar un modelo (un modelo Profeta, por ejemplo) por producto que hiciera previsiones a nivel nacional\/diario. Como en el caso anterior, el modelo se entrenar\u00eda tambi\u00e9n varias veces, cada vez hasta el d\u00eda anterior a la fecha de predicci\u00f3n (D+7, D+14, etc.) y har\u00eda previsiones para el horizonte de 14 semanas.
      \nPero aqu\u00ed, como arriba, los resultados segu\u00edan sin ser satisfactorios y la raz\u00f3n era pr\u00e1cticamente la misma: \u00a1no hab\u00eda suficiente data hist\u00f3rico! La historia era demasiado superficial y el data demasiado desordenado para que el modelo pudiera entender un patr\u00f3n claro y hacer predicciones precisas.<\/p>\n<\/div>\"Image\"

      Agrupaci\u00f3n de productos basada en productos similares : el Mes\u00edas<\/h2><\/div>

      Como nuestros dos primeros intentos de hacer previsiones no fueron concluyentes, decidimos ir completamente en otra direcci\u00f3n.
      \nAnalizamos las ventas de todas las innovaciones de 2017 a 2019 y nos dimos cuenta de que muchas ten\u00edan curvas de ventas similares durante los primeros meses de sus respectivos lanzamientos, esto nos dio la idea de hacer previsiones basadas en las similitudes de los productos con innovaciones antiguas. Nuestra intuici\u00f3n se vio reforzada desde que encontramos algunos trabajos de investigaci\u00f3n de otros compa\u00f1eros de data que suger\u00edan un enfoque similar (1).
      \nNuestro enfoque consisti\u00f3 en 3 pasos fundamentales<\/p>\n<\/div>

      Agrupaci\u00f3n de innovaciones antiguas en funci\u00f3n de las ventas - \u00c1mbito Data : Se incluyen las innovaciones lanzadas de 2017 a 2018<\/h3><\/div>

      La idea es agrupar las innovaciones antiguas bas\u00e1ndose en su curva de series temporales en grupos de productos similares. Los productos que se encuentran en el mismo grupo tienen patrones de ventas similares y, por tanto, las ventas de una \u00fanica innovaci\u00f3n pueden deducirse a partir del conocimiento de las ventas de las innovaciones m\u00e1s antiguas.
      \nNuestro data de entrada fue el\u00a0Ventas acumuladas normalizadas MinMax de las innovaciones antiguas durante sus 5 primeros meses<\/strong>. Nos fijamos en las ventas acumulativas porque quer\u00edamos que nuestro modelo de agrupaci\u00f3n tuviera una idea de cu\u00e1ndo alcanzar\u00eda cada producto su ritmo regular de ventas. Normalizamos las ventas acumuladas porque algunos productos ten\u00edan la misma forma de curva pero diferente volumen de ventas y quer\u00edamos ponerlos en el mismo cluster, ya que aqu\u00ed nos centramos en la similitud.
      \nAgrupamos nuestros productos con un\u00a0Modelo K-Means<\/strong>\u00a0eligi\u00e9ndose autom\u00e1ticamente el par\u00e1metro K mediante una prueba comparativa utilizando el\u00a0\u00cdndice de siluetas<\/em>.El n\u00famero \u00f3ptimo fue K=4.<\/strong>Tambi\u00e9n probamos diferentes m\u00e9tricas de distancia entre\u00a0euclidiano<\/em>\u00a0y\u00a0DTW,\u00a0<\/em>con el euclidiano dando resultados m\u00e1s satisfactorios durante nuestras pruebas.<\/p>\n<\/div>\"Image\"\"Image\"

      Modelo de clasificaci\u00f3n que predice la agrupaci\u00f3n de un producto en funci\u00f3n de sus atributos - \u00c1mbito Data : Las innovaciones lanzadas de 2017 a 2018 incluyen<\/h3><\/div>

      La idea aqu\u00ed es encontrar un v\u00ednculo entre el cluster al que pertenece el producto y sus atributos, como dimensi\u00f3n, marca, sabor, etc., as\u00ed como algunos data contextuales como periodo de lanzamiento, campa\u00f1as de medios, etc. Ese v\u00ednculo se encontrar\u00eda con la ayuda de un modelo de clasificaci\u00f3n.
      \nEl modelo se alimentar\u00eda con atributos del producto junto con data contextuales e intentar\u00eda predecir el cluster de una innovaci\u00f3n bas\u00e1ndose en ello. La intuici\u00f3n que subyace a este enfoque es ver si podemos responder a la siguiente pregunta :
      \nSi conocemos de antemano los atributos de una innovaci\u00f3n + data contextual, \u00bfpodemos predecir el tipo de comportamiento de ventas que tendr\u00e1 este producto tras su lanzamiento?<\/em><\/strong>
      \nDado que dispon\u00edamos de un data muy limitado (aproximadamente 100 productos), entrenamos un clasificador Bagging simple en nuestros productos con una divisi\u00f3n 75%-25% de entrenamiento\/prueba. Terminamos con un\u00a0Puntuaci\u00f3n F1 de 84%<\/strong>\u00a0en el conjunto de pruebas.
      \nHemos realizado algunos an\u00e1lisis sobre los atributos de los productos para ver si podemos encontrar alguna explicaci\u00f3n empresarial para cada agrupaci\u00f3n y aqu\u00ed est\u00e1n nuestras conclusiones:<\/p>\n<\/div>