![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/04\/Medium-Blog.png\" "\\"Mediano")
<\/span><\/div><\/div><\/div>NOTICIAS \/ TECNOLOG\u00cdA AI<\/p>\n<\/div>
25 de noviembre de 2020
\nEn Artefact somos tan franceses que hemos decidido aplicar el aprendizaje autom\u00e1tico a los cruasanes. Este primer art\u00edculo de dos explica c\u00f3mo hemos decidido utilizar Catboost para predecir las ventas de \u201cviennoiseries\u201d. Las caracter\u00edsticas m\u00e1s importantes que impulsaron las ventas fueron las \u00faltimas ventas semanales, si el producto est\u00e1 en promoci\u00f3n o no y su precio. Le presentaremos algunas bonitas caracter\u00edsticas de ingenier\u00eda, como la canibalizaci\u00f3n y por qu\u00e9 a veces es necesario actualizar la variable objetivo.<\/p>\n<\/div><\/div><\/div><\/div><\/div>
\u00bfDe qu\u00e9 se trata?<\/strong><\/span><\/p>\n En Artefact somos tan franceses que hemos decidido aplicar el aprendizaje autom\u00e1tico a los cruasanes. Este primer art\u00edculo de dos explica c\u00f3mo hemos decidido utilizar Catboost para predecir las ventas de \u201cviennoiseries\u201d. Las caracter\u00edsticas m\u00e1s importantes que impulsaron las ventas fueron las \u00faltimas ventas semanales, si el producto est\u00e1 en promoci\u00f3n o no y su precio.<\/p>\n Le presentaremos algunas bonitas caracter\u00edsticas de ingenier\u00eda que incluyen la canibalizaci\u00f3n y por qu\u00e9 a veces es necesario actualizar la variable objetivo. Elegimos como m\u00e9tricas de evaluaci\u00f3n la Precisi\u00f3n de Pron\u00f3stico y el biais. Nuestro segundo art\u00edculo explicar\u00e1 c\u00f3mo pusimos este modelo en producci\u00f3n y algunas buenas pr\u00e1cticas de ML Ops.<\/p>\n \u00bfPara qui\u00e9n?<\/strong><\/span><\/p>\n \u00bfPara llevar?<\/strong><\/span><\/p>\n Contexto<\/strong><\/span><\/p>\n Recientemente hemos estado trabajando en un tema realmente interesante y desafiante para un gran minorista en Francia: C\u00f3mo predecir la demanda diaria de productos frescos perecederos como la boller\u00eda, incluidos nuestros queridos cruasanes.<\/p>\n Este minorista se enfrentaba a un problema cl\u00e1sico de la cadena de suministro: cada d\u00eda sus panaderos tienen que hornear una cierta cantidad de productos frescos y perecederos: cruasanes, panes de chocolate, baguettes, tartas de lim\u00f3n, etc. La mayor\u00eda de estos productos no duran m\u00e1s de un d\u00eda, si no se venden se consideran ingresos perdidos. Por otro lado, si no hay disponibilidad en los estantes durante el d\u00eda, se traducir\u00e1 en consumidores descontentos y en una p\u00e9rdida de dinero. El reto consiste en predecir a nivel diario, con siete d\u00edas de antelaci\u00f3n, la cantidad de cada producto perecedero para cada tienda. El objetivo de este proyecto es mejorar la disponibilidad en los estantes y reducir al mismo tiempo el desperdicio de alimentos.<\/p>\n Para predecir las ventas con unos d\u00edas de antelaci\u00f3n, ya se utilizaba una soluci\u00f3n interna que utilizaba medidas estad\u00edsticas sencillas. Sin embargo, tras reunirnos con los responsables de la panader\u00eda, comprendimos que hab\u00eda un claro margen de mejora aprovechando m\u00e1s data y caracter\u00edsticas como los efectos de la estacionalidad, el tiempo, las vacaciones, los efectos de la sustituci\u00f3n de productos, etc. As\u00ed pues, decidimos utilizar la soluci\u00f3n actual como l\u00ednea de base y probar algoritmos m\u00e1s recientes para mejorar la precisi\u00f3n de la previsi\u00f3n.<\/p>\n Y para concluir esta introducci\u00f3n, una ilustraci\u00f3n del reto y de lo que queremos conseguir.<\/p>\n Desarrollo de modelos<\/strong><\/span><\/p>\n Ahora que tenemos un problema bien definido y algunos objetivos que alcanzar, por fin podemos empezar a escribir un buen c\u00f3digo python en nuestros cuadernos: \u00a1que empiece la diversi\u00f3n!<\/p>\n Solicitud Data<\/strong><\/span><\/p>\n Como en cualquier proyecto cient\u00edfico data, todo empieza con data. Por experiencia, le recomendamos encarecidamente que solicite el data lo antes posible. No sea t\u00edmido a la hora de pedir muchos data y para cada fuente de data aseg\u00farese de identificar a un referente, alguien con quien pueda ponerse en contacto f\u00e1cilmente y plantear sus preguntas sobre la colecci\u00f3n de data o sobre c\u00f3mo se estructura el data.<\/p>\n Gracias a las distintas reuniones pudimos elaborar una lista de los data que pod\u00edamos utilizar:<\/p>\n An\u00e1lisis exploratorio Data (EDA) y detecci\u00f3n de valores at\u00edpicos<\/strong><\/span><\/p>\n Una vez recogida la data, empezamos a hacer algunos an\u00e1lisis. \u00bfExiste estacionalidad en mi data? \u00bfUna tendencia? \u00bfCu\u00e1ntos productos tengo? \u00bfSon coherentes a lo largo del tiempo? \u00bfHay productos estacionales?<\/p>\n Al trazar las diferentes series temporales, tambi\u00e9n detectamos algunas caracter\u00edsticas interesantes:<\/p>\n Tenga en cuenta que hemos creado diferentes caracter\u00edsticas relacionadas con la fijaci\u00f3n de precios. El precio absoluto, pero tambi\u00e9n los precios relativos en comparaci\u00f3n con otros productos de la misma subfamilia, familia o tienda. El precio relativo es una forma de cuantificar la canibalizaci\u00f3n de precios entre productos. Tambi\u00e9n creamos caracter\u00edsticas que traducen la variaci\u00f3n del precio de un producto a lo largo del tiempo.<\/p>\n Para tareas de predicci\u00f3n tan realistas, el diablo est\u00e1 en los detalles y es realmente importante buscar valores at\u00edpicos y anomal\u00edas, tomarse el tiempo necesario para hacer crujir su data.<\/p>\n Pero primero, \u00bfpor qu\u00e9 deber\u00edamos preocuparnos por la detecci\u00f3n de valores at\u00edpicos? Por muchas razones, puede indicar un mal data, errores en los ETL, procesos empresariales que desconoc\u00eda. En segundo lugar, es muy probable que afecte a su algoritmo y a la parte de inferencia, por lo que es sin duda una parte importante del desarrollo.<\/p>\n Puede detectar valores at\u00edpicos en distintos momentos del proyecto, ya sea durante el an\u00e1lisis exploratorio data (EDA) o analizando los mayores errores de sus modelos.<\/p>\n Al realizar el EDA, detectamos algunos data extra\u00f1os, como las ventas B2B, por ejemplo 1.800 ventas de un solo art\u00edculo en un solo recibo de compra. Valores at\u00edpicos relacionados con la fijaci\u00f3n de precios, en su mayor\u00eda debidos a errores manuales de la cajera: \u00a1precios negativos o un cruas\u00e1n que costaba 250 euros!<\/p>\n Nos dimos cuenta de que a veces nuestras predicciones estaban totalmente equivocadas los primeros d\u00edas de los periodos de promoci\u00f3n. Despu\u00e9s de algunos an\u00e1lisis nos dimos cuenta de que se deb\u00eda a que la promoci\u00f3n se lanzaba un d\u00eda antes o despu\u00e9s del d\u00eda oficial. De hecho, a veces el gestor se tomaba alguna libertad y decid\u00eda cambiar el inicio o el final de las promociones. Estos cambios pueden detectarse y fijarse en el conjunto de entrenamiento data pero pueden dar lugar a grandes errores de predicci\u00f3n. En efecto, las promociones pueden alcanzar vol\u00famenes de 4 a 5 veces mayores que en caso de no promoci\u00f3n.<\/p>\n Aqu\u00ed tiene una lista de otros ejemplos interesantes de procesos y mecanismos que hemos descubierto gracias a este an\u00e1lisis y que puede encontrar en sus proyectos:<\/p>\n De la predicci\u00f3n de ventas a la predicci\u00f3n \u00f3ptima de ventas<\/strong><\/span><\/p>\n Un reto nos llev\u00f3 a actualizar nuestra variable objetivo. A veces, debido a una influencia inesperada o a una mala previsi\u00f3n, el departamento esperaba una escasez de productos antes del final del d\u00eda. Entonces pueden producirse dos fen\u00f3menos: el cliente al no poder encontrar su producto no compra nada, o compra un bien similar. Bas\u00e1ndonos en el hist\u00f3rico data, dedujimos algunas leyes de distribuci\u00f3n (estad\u00edsticas b\u00e1sicas) que nos ayudaron a modelizar este impacto y actualizamos nuestra variable objetivo para no predecir las ventas hist\u00f3ricas sino las ventas \u00f3ptimas de un producto concreto.<\/p>\n Esta actualizaci\u00f3n de la variable objetivo es delicada porque es realmente dif\u00edcil saber si la actualizaci\u00f3n ha tenido sentido. \u00bfMejor\u00f3 realmente la calidad del data o la empeor\u00f3? Una forma de cuantificar nuestro impacto fue tomar las ventas sin ruptura de existencias y crear una falsa escasez, por ejemplo, eliminar todas las ventas despu\u00e9s de las 5 \u00f3 6 de la tarde y luego intentar reconstruir las ventas. Este m\u00e9todo nos ayuda a volver a un problema cl\u00e1sico supervisado que podemos evaluar objetivamente.<\/p>\n Como resultado, pudimos predecir las ventas \u00f3ptimas y evitar que nuestro algoritmo aprendiera patrones de escasez.<\/p>\n Nuestros modelos<\/strong><\/span><\/p>\n Despu\u00e9s de haber limpiado correctamente nuestro data, por fin podemos probar y ensayar algunos modelos.<\/p>\n Tiene muchas posibilidades diferentes para abordar un problema de previsi\u00f3n: enfoques estad\u00edsticos cl\u00e1sicos (SARIMA, Suavizado exponencial, Profeta, etc.), enfoques de aprendizaje autom\u00e1tico (Regresi\u00f3n lineal, Algoritmos de refuerzo) o Aprendizaje profundo (RNN, LSTM, CNN). C\u00f3mo elegir el enfoque adecuado es una cuesti\u00f3n delicada, he aqu\u00ed algunos elementos que nos ayudaron a elegir:<\/p>\n Por estas razones, decidimos elegir Catboost como modelo. Catboost tiene muchas ventajas, como el manejo nativo de valores categ\u00f3ricos y ausentes, puede manejar muchas caracter\u00edsticas, se escala bien y puede inferir muchas series temporales dentro del mismo modelo. Adem\u00e1s, proporciona un bonito gr\u00e1fico durante el entrenamiento y se integra muy f\u00e1cilmente con\u00a0SHAP<\/em>\u00a0para la importancia del rasgo.<\/p>\n He aqu\u00ed, por ejemplo, una captura de pantalla del gr\u00e1fico interactivo del algoritmo durante su entrenamiento:<\/p>\n Sin embargo, uno de los inconvenientes de los enfoques de ML puro es la necesidad de codificar uno mismo todas las caracter\u00edsticas, especialmente las relacionadas con el tiempo. Sin una s\u00f3lida ingenier\u00eda de caracter\u00edsticas, estos algoritmos ser\u00e1n incapaces de captar los patrones temporales. Adem\u00e1s, s\u00f3lo pueden inferir un marco temporal fijo, a diferencia de Sarima o Prophet, en los que puede especificar el n\u00famero de d\u00edas a pronosticar mediante el par\u00e1metro periodos.<\/p>\n Por \u00faltimo, debe tener mucho cuidado con las fugas de data, especialmente cuando construya su funci\u00f3n de retardo.<\/p>\n Una de las principales caracter\u00edsticas no era el desfase semanal, sino la media de los desfases: D-7, D-14, D-21, ... etc las \u00faltimas seis semanas. De hecho, la caracter\u00edstica no regular de nuestra serie temporal mezclada con el uso de la promoci\u00f3n de vez en cuando induce una estacionalidad difusa, de ah\u00ed el uso de una media. Es importante observar que el mero uso de esta media como modelo \u00fanico ya ofrece un rendimiento realmente bueno.<\/p>\n Un modelo frente a muchos modelos<\/strong><\/span><\/p>\n En resumen, utilizamos un algoritmo Catboost, para predecir todas nuestras 10 000 series temporales, para cada producto y cada tienda. Pero, \u00bfy si un art\u00edculo tiene un patr\u00f3n de ventas realmente particular, o una tienda espec\u00edfica? \u00bfPodr\u00eda el algoritmo identificar y aprender este patr\u00f3n?<\/p>\n Estas cuestiones nos llevan a preguntarnos, \u00bfdeber\u00edamos agrupar nuestros productos, tiendas y entrenar un algoritmo por agrupaci\u00f3n? Aunque el uso de algoritmos de \u00e1rboles de decisi\u00f3n deber\u00eda hacer frente a este reto, observamos limitaciones en algunos casos concretos.<\/p>\n Los algoritmos de refuerzo son algoritmos iterativos, basados en aprendices d\u00e9biles que se centrar\u00e1n en sus mayores errores. Evidentemente, est\u00e1 un poco simplificado, pero me sirve para se\u00f1alar una de sus limitaciones. Si no ha normalizado su variable objetivo, su algoritmo \u201cs\u00f3lo\u201d se centrar\u00e1 en los productos con grandes errores, que ser\u00e1n probablemente los que tengan mayores ventas. Como resultado, el algoritmo puede centrarse m\u00e1s en los productos o tiendas con mayor volumen de ventas.<\/p>\n No encontramos la forma perfecta de abordar este reto, pero observamos algunas mejoras agrupando nuestros productos\/tiendas por familias o frecuencia de venta.<\/p>\n Una de las ventajas de entrenar m\u00faltiples algoritmos son:<\/p>\n Pero, por otro lado, \u00a1ser\u00e1 m\u00e1s dif\u00edcil de mantener!<\/p>\n Al final decidimos optar por este enfoque, ya que estaba dando mejores resultados.<\/p>\n<\/div><\/div><\/div><\/div><\/div> \u00bfC\u00f3mo evaluar nuestro modelo?<\/strong><\/span><\/p>\n En las secciones anteriores hemos hablado de muchos modelos y de sus prestaciones. Pero, \u00bfc\u00f3mo se eval\u00faa un algoritmo de previsi\u00f3n? Obviamente, es muy similar a cualquier problema de aprendizaje autom\u00e1tico, pero sin embargo tiene sus propias especificidades:<\/p>\n Como ya se ha mencionado, uno de los retos de la previsi\u00f3n de series temporales es evitar la fuga de data. Puede ocurrir mientras creamos nuestras caracter\u00edsticas: rezagos, normalizaci\u00f3n de nuestras variables, etc...<\/p>\n Pero tambi\u00e9n puede ocurrir al realizar la validaci\u00f3n cruzada, dividida entre los conjuntos data de entrenamiento, validaci\u00f3n y prueba.<\/p>\n No puede utilizar el cl\u00e1sico\u00a0entrenar_prueba_split()<\/em>\u00a0de sklearn. \u00bfPor qu\u00e9? \u00a1Imagine que su conjunto data son las ventas de 2019, si divide aleatoriamente, entrenar\u00e1 sobre data de enero, febrero, ..., diciembre de 2019 y su data de prueba tendr\u00e1 ventas de las mismas fechas! Como resultado, su algoritmo se entrenar\u00e1 en patrones que no tendr\u00e1 en producci\u00f3n, de ah\u00ed un problema de fuga de data. Para resolver eso hay otras formas de dividir su data como la funci\u00f3n TimeSeriesSplit()<\/em>\u00a0tambi\u00e9n de sklearn.<\/p>\n 2. La elecci\u00f3n de la m\u00e9trica:<\/p>\n La previsi\u00f3n de series temporales es un problema de regresi\u00f3n, como resultado podemos utilizar las m\u00e9tricas cl\u00e1sicas como MSE, RMSE pero tambi\u00e9n existen otras, aqu\u00ed una lista no exhaustiva:<\/p>\n Optimizamos nuestro algoritmo utilizando el RMSE, pero para comunicarnos con nuestros empresarios utilizamos una Precisi\u00f3n de Previsi\u00f3n ponderada:<\/p>\n Lo calculamos primero a nivel de d\u00eda\/tienda y luego lo agregamos por tienda utilizando una media ponderada, siendo las ponderaciones las ventas por d\u00eda de las diferentes tiendas. Evidentemente, esta m\u00e9trica puede ser cuestionada, pero tiene la ventaja de disponer de un valor para cada tienda, y si un d\u00eda el gestor rinde realmente (mal o bien) no se sobreestima. Adem\u00e1s FA es una m\u00e9trica realmente interpretable que habla del negocio a diferencia de RMSE.<\/p>\n Por \u00faltimo, otra m\u00e9trica interesante a tener en cuenta es el biais, que introduce la tendencia general del algoritmo a predecir en exceso o a predecir en defecto. Dependiendo del caso de negocio puede que quiera impulsar una u otra. En nuestro caso impulsamos una ligera sobrepredicci\u00f3n para asegurarnos de tener el producto en la estanter\u00eda y \u00a1mantener contento a nuestro cliente!<\/p>\n Palabras finales, algunos consejos para cualquier proyecto data<\/strong><\/span><\/p>\n He pensado que tambi\u00e9n estar\u00eda bien compartir con ustedes algunos consejos, errores que cometemos a nivel de proyecto.<\/p>\n En primer lugar, \u00bfc\u00f3mo desarrollamos nuestros modelos, la ingenier\u00eda de caracter\u00edsticas?<\/p>\n Todos estos diferentes pasos, experimentos se realizaron en cuadernos, \u00a1pero el uso de cuadernos no significa c\u00f3digo sucio! Al contrario, recomendamos encarecidamente tomarse el tiempo necesario para escribir cuadernos adecuados con t\u00edtulos, nombres propios, funciones y factorizar las l\u00edneas redundantes.<\/p>\n El uso de cuadernos plantea algunos retos, especialmente cuando muchos desarrolladores trabajan juntos: conflictos en github, c\u00f3digo no replicable, etc...<\/p>\n He aqu\u00ed algunos consejos para reducir estos problemas:<\/p>\n Puntos clave<\/strong><\/span><\/p>\n Nos hubiera encantado compartir con ustedes nuestros resultados, pero no se nos permiti\u00f3 por motivos de privacidad, pero podemos decir que con esta metodolog\u00eda pudimos hacerlo:<\/p>\n Pero por otro lado, aqu\u00ed est\u00e1 la lista de nuestros mayores aprendizajes que espero le ayuden a desarrollar su propia soluci\u00f3n:<\/p>\n\n
\n
![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2020\/11\/0_tmryqg1LTyu3u_b8.jpeg\")
<\/p>\n\n
\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/01TAXEHqr9CLKkcfH.png\")
<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/figure>\n\n
\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/0IHYfQrWymxriIbmh.png\")
<\/p>\n<\/div>\n\n
\n
\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/1TMosktPGqo5c6MG4bQVw8g.png\")
<\/p>\n<\/div>\n\n
\n
\n
![](\"https:\/\/www.artefact.com\/wp-content\/uploads\/2020\/06\/Global-Newsletter-Data-Digest_LinkedIn_600x315_april.jpg\" "\\"data-driven\\"")
<\/span><\/div><\/div><\/div>