![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/04\/Medium-Blog.png\" "\\"M\u00e9dio")
<\/span><\/div><\/div><\/div>NOT\u00cdCIAS \/ TECNOLOGIA AI<\/p>\n<\/div>
25 de novembro de 2020
\nNa Artefact, somos t\u00e3o franceses que decidimos aplicar o aprendizado de m\u00e1quina aos croissants. Este primeiro artigo de dois explica como decidimos usar o Catboost para prever as vendas de \u201cviennoiseries\u201d. Os recursos mais importantes que impulsionaram as vendas foram as \u00faltimas vendas semanais, o fato de o produto estar ou n\u00e3o em promo\u00e7\u00e3o e seu pre\u00e7o. Apresentaremos aos senhores alguns recursos interessantes de engenharia, inclusive a canibaliza\u00e7\u00e3o e por que \u00e0s vezes \u00e9 necess\u00e1rio atualizar a vari\u00e1vel de destino.<\/p>\n<\/div><\/div><\/div><\/div><\/div>
O que \u00e9 isso?<\/strong><\/span><\/p>\n Na Artefact, somos t\u00e3o franceses que decidimos aplicar o aprendizado de m\u00e1quina aos croissants. Este primeiro artigo de dois explica como decidimos usar o Catboost para prever as vendas de \u201cviennoiseries\u201d. Os recursos mais importantes que impulsionaram as vendas foram as \u00faltimas vendas semanais, o fato de o produto estar ou n\u00e3o em promo\u00e7\u00e3o e seu pre\u00e7o.<\/p>\n Apresentaremos aos senhores alguns recursos interessantes de engenharia, incluindo canibaliza\u00e7\u00e3o e por que \u00e0s vezes \u00e9 necess\u00e1rio atualizar a vari\u00e1vel-alvo. Escolhemos a precis\u00e3o da previs\u00e3o e os biais como m\u00e9tricas de avalia\u00e7\u00e3o. Nosso segundo artigo explicar\u00e1 como colocamos esse modelo em produ\u00e7\u00e3o e algumas pr\u00e1ticas recomendadas de ML Ops.<\/p>\n Para quem?<\/strong><\/span><\/p>\n Conclus\u00f5es?<\/strong><\/span><\/p>\n Contexto<\/strong><\/span><\/p>\n Recentemente, trabalhamos em um t\u00f3pico realmente interessante e desafiador para um grande varejista na Fran\u00e7a: Como prever a demanda di\u00e1ria de produtos frescos perec\u00edveis, como doces, incluindo nossos amados croissants.<\/p>\n Esse varejista estava enfrentando um problema cl\u00e1ssico de cadeia de suprimentos: todos os dias, seus padeiros precisam assar uma certa quantidade de produtos frescos e perec\u00edveis: croissants, p\u00e3es de chocolate, baguetes, tortas de lim\u00e3o etc. A maioria desses produtos n\u00e3o dura mais de um dia e, se n\u00e3o forem vendidos, s\u00e3o considerados como receita perdida. Por outro lado, se n\u00e3o houver disponibilidade na prateleira durante o dia, os consumidores ficar\u00e3o insatisfeitos e haver\u00e1 perda de dinheiro. O desafio \u00e9 prever em n\u00edvel di\u00e1rio, com sete dias de anteced\u00eancia, a quantidade de cada produto perec\u00edvel para cada loja. Como resultado, esse projeto teve como objetivo melhorar a disponibilidade nas prateleiras e, ao mesmo tempo, reduzir o desperd\u00edcio de alimentos.<\/p>\n Para prever as vendas com alguns dias de anteced\u00eancia, j\u00e1 era usada uma solu\u00e7\u00e3o interna que utilizava medidas estat\u00edsticas simples. No entanto, depois de nos reunirmos com os gerentes da padaria, entendemos que havia um espa\u00e7o claro para aprimoramento, aproveitando mais data e recursos como efeitos de sazonalidade, clima, feriados, efeitos de substitui\u00e7\u00e3o de produtos etc. Assim, decidimos usar a solu\u00e7\u00e3o atual como linha de base e experimentar algoritmos mais recentes para melhorar a precis\u00e3o da previs\u00e3o.<\/p>\n E para concluir esta introdu\u00e7\u00e3o, uma ilustra\u00e7\u00e3o do desafio e do que queremos alcan\u00e7ar.<\/p>\n Desenvolvimento de modelos<\/strong><\/span><\/p>\n Agora que temos um problema bem definido e alguns objetivos a serem alcan\u00e7ados, podemos finalmente come\u00e7ar a escrever um bom c\u00f3digo python em nossos notebooks - que comece a divers\u00e3o!<\/p>\n Solicita\u00e7\u00e3o de Data<\/strong><\/span><\/p>\n Como em qualquer projeto cient\u00edfico data, tudo come\u00e7a com o data. Por experi\u00eancia pr\u00f3pria, recomendamos enfaticamente que o senhor solicite o data o mais r\u00e1pido poss\u00edvel. N\u00e3o tenha vergonha de pedir muitos data e, para cada fonte de data, certifique-se de identificar um referente, algu\u00e9m com quem o senhor possa entrar em contato facilmente e fazer suas perguntas sobre a cole\u00e7\u00e3o de data ou sobre como o data est\u00e1 estruturado.<\/p>\n Gra\u00e7as \u00e0s diversas reuni\u00f5es, conseguimos fazer uma lista dos data que poder\u00edamos usar:<\/p>\n An\u00e1lise explorat\u00f3ria Data (EDA) e detec\u00e7\u00e3o de outliers<\/strong><\/span><\/p>\n Depois que o data foi coletado, come\u00e7amos a fazer algumas an\u00e1lises. H\u00e1 sazonalidade em meu data? Uma tend\u00eancia? Quantos produtos eu tenho? Eles s\u00e3o consistentes ao longo do tempo? H\u00e1 produtos sazonais?<\/p>\n Ao plotar as diferentes s\u00e9ries temporais, tamb\u00e9m identificamos alguns recursos interessantes:<\/p>\n Observe que criamos diferentes recursos relacionados ao pre\u00e7o. O pre\u00e7o absoluto, mas tamb\u00e9m os pre\u00e7os relativos em compara\u00e7\u00e3o com outros produtos da mesma subfam\u00edlia, fam\u00edlia ou loja. O pre\u00e7o relativo \u00e9 uma forma de quantificar a canibaliza\u00e7\u00e3o de pre\u00e7os entre produtos. Tamb\u00e9m criamos recursos que traduzem a varia\u00e7\u00e3o de pre\u00e7o de um produto ao longo do tempo.<\/p>\n Para essas tarefas de previs\u00e3o realistas, os dem\u00f4nios est\u00e3o nos detalhes e \u00e9 realmente importante procurar por exce\u00e7\u00f5es e anomalias e dedicar algum tempo para analisar seu data.<\/p>\n Mas, primeiro, por que dever\u00edamos nos preocupar com a detec\u00e7\u00e3o de outliers? Por v\u00e1rios motivos: pode indicar que o data \u00e9 ruim, erros nos ETLs, processos comerciais que o senhor n\u00e3o conhecia. Em segundo lugar, \u00e9 muito prov\u00e1vel que isso afete seu algoritmo e a parte de infer\u00eancia, portanto, \u00e9 definitivamente uma parte importante do desenvolvimento.<\/p>\n O senhor pode identificar outliers em diferentes momentos do projeto, seja durante a an\u00e1lise explorat\u00f3ria data (EDA) ou analisando os maiores erros de seus modelos.<\/p>\n Ao fazer a EDA, detectamos alguns data estranhos, como vendas B2B, por exemplo, 1800 vendas de um \u00fanico item em um \u00fanico recibo de compra. Os valores at\u00edpicos relacionados aos pre\u00e7os, principalmente devido a erros manuais do caixa: pre\u00e7os negativos ou um croissant que custa 250 euros!<\/p>\n Percebemos que, \u00e0s vezes, nossas previs\u00f5es estavam totalmente erradas nos primeiros dias dos per\u00edodos de promo\u00e7\u00e3o. Ap\u00f3s algumas an\u00e1lises, percebemos que isso se devia ao fato de a promo\u00e7\u00e3o ter sido lan\u00e7ada um dia antes ou depois do dia oficial. De fato, \u00e0s vezes o gerente tomava alguma liberdade e decidia alterar o in\u00edcio ou o fim das promo\u00e7\u00f5es. Essas altera\u00e7\u00f5es podem ser detectadas e corrigidas no conjunto de treinamento data, mas podem levar a grandes erros de previs\u00e3o. De fato, as promo\u00e7\u00f5es podem atingir volumes de 4 a 5 vezes maiores do que os de uma n\u00e3o promo\u00e7\u00e3o.<\/p>\n Aqui est\u00e1 uma lista de alguns outros exemplos interessantes de processos e mecanismos que descobrimos gra\u00e7as a essa an\u00e1lise e que o senhor pode encontrar em seus projetos:<\/p>\n Da previs\u00e3o de vendas \u00e0 previs\u00e3o ideal de vendas<\/strong><\/span><\/p>\n Um desafio nos levou a atualizar nossa vari\u00e1vel de meta. \u00c0s vezes, devido a uma influ\u00eancia inesperada ou a uma previs\u00e3o ruim, o departamento esperava uma falta de produtos antes do final do dia. Ent\u00e3o, dois fen\u00f4menos podem ocorrer: o cliente que n\u00e3o consegue encontrar seu produto n\u00e3o compra nada ou compra um produto semelhante. Com base no hist\u00f3rico data, inferimos algumas leis de distribui\u00e7\u00e3o (estat\u00edsticas b\u00e1sicas) que nos ajudaram a modelar esse impacto e atualizamos nossa vari\u00e1vel-alvo para n\u00e3o prever as vendas hist\u00f3ricas, mas as vendas ideais para um determinado produto.<\/p>\n Essa atualiza\u00e7\u00e3o da vari\u00e1vel de destino \u00e9 complicada porque \u00e9 realmente dif\u00edcil saber se a atualiza\u00e7\u00e3o fez sentido. O senhor realmente melhorou a qualidade do data ou a piorou? Uma maneira de quantificar nosso impacto foi pegar as vendas sem falta de estoque e criar uma falsa escassez, por exemplo, remover todas as vendas ap\u00f3s as 17 ou 18 horas e, em seguida, tentar reconstruir as vendas. Esse m\u00e9todo nos ajuda a voltar a um problema supervisionado cl\u00e1ssico que podemos avaliar objetivamente.<\/p>\n Como resultado, conseguimos prever as vendas ideais e evitar que nosso algoritmo aprendesse padr\u00f5es de escassez.<\/p>\n Nossos modelos<\/strong><\/span><\/p>\n Depois de limpar adequadamente nosso data, podemos finalmente testar e experimentar alguns modelos.<\/p>\n O senhor tem muitas possibilidades diferentes para lidar com um problema de previs\u00e3o: abordagens estat\u00edsticas cl\u00e1ssicas (SARIMA, suaviza\u00e7\u00e3o exponencial, Prophet etc.), abordagens de aprendizado de m\u00e1quina (regress\u00e3o linear, algoritmos de refor\u00e7o) ou aprendizado profundo (RNN, LSTM, CNN). Como escolher a abordagem certa \u00e9 uma quest\u00e3o complicada, mas aqui est\u00e3o alguns elementos que nos ajudaram a escolher:<\/p>\n Por esses motivos, decidimos escolher o Catboost como modelo. O Catboost tem muitas vantagens, como lidar nativamente com valores categ\u00f3ricos e ausentes, pode lidar com muitos recursos, escalonar bem e inferir muitas s\u00e9ries temporais dentro do mesmo modelo. Al\u00e9m disso, ele fornece um bom gr\u00e1fico durante o treinamento e se integra muito facilmente ao\u00a0SHAP<\/em>\u00a0para a import\u00e2ncia do recurso.<\/p>\n Aqui est\u00e1, por exemplo, uma captura de tela do gr\u00e1fico interativo do algoritmo durante seu treinamento:<\/p>\n No entanto, uma das desvantagens das abordagens de ML puro \u00e9 a necessidade de codificar todos os recursos por conta pr\u00f3pria, especialmente os relacionados ao tempo. Sem uma forte engenharia de recursos, esses algoritmos n\u00e3o conseguir\u00e3o detectar os padr\u00f5es de tempo. Al\u00e9m disso, eles s\u00f3 podem inferir um per\u00edodo de tempo fixo, ao contr\u00e1rio do Sarima ou do Prophet, em que o usu\u00e1rio pode especificar o n\u00famero de dias a serem previstos usando o par\u00e2metro periods.<\/p>\n Por fim, \u00e9 preciso ter muito cuidado com o vazamento do data, especialmente quando o senhor constr\u00f3i seu recurso de atraso.<\/p>\n Uma das principais caracter\u00edsticas n\u00e3o era a defasagem semanal, mas a m\u00e9dia das defasagens: D-7, D-14, D-21, ... etc. nas \u00faltimas seis semanas. De fato, a caracter\u00edstica n\u00e3o regular de nossa s\u00e9rie temporal, combinada com o uso de promo\u00e7\u00e3o de tempos em tempos, induz a uma sazonalidade difusa, da\u00ed o uso de uma m\u00e9dia. \u00c9 importante observar que apenas o uso dessa m\u00e9dia como um modelo \u00fanico j\u00e1 proporciona um desempenho muito bom!<\/p>\n Um modelo versus muitos modelos<\/strong><\/span><\/p>\n Em resumo, usamos um algoritmo: Catboost, para prever todas as nossas 10.000 s\u00e9ries temporais, para cada produto e cada loja. Mas e se um item tiver um padr\u00e3o de vendas realmente particular ou uma loja espec\u00edfica? O algoritmo identificaria e aprenderia esse padr\u00e3o?<\/p>\n Essas perguntas nos levam \u00e0 seguinte quest\u00e3o: devemos agrupar nossos produtos e lojas e treinar um algoritmo por agrupamento? Mesmo que o uso de algoritmos de \u00e1rvore de decis\u00e3o deva enfrentar esse desafio, observamos limita\u00e7\u00f5es em alguns casos espec\u00edficos.<\/p>\n Os algoritmos de refor\u00e7o s\u00e3o algoritmos iterativos, baseados em aprendizes fracos que se concentrar\u00e3o em seus maiores erros. Obviamente, isso \u00e9 um pouco simplificado demais, mas me ajuda a apontar uma de suas limita\u00e7\u00f5es. Se o senhor n\u00e3o normalizar a vari\u00e1vel-alvo, o algoritmo se concentrar\u00e1 \u201capenas\u201d nos produtos com grandes erros, que provavelmente ser\u00e3o aqueles com as maiores vendas. Como resultado, o algoritmo pode se concentrar mais nos produtos ou lojas com maior volume de vendas.<\/p>\n N\u00e3o encontramos a maneira perfeita de enfrentar esse desafio, mas observamos algumas melhorias ao agrupar nossos produtos\/lojas por fam\u00edlia ou frequ\u00eancia de vendas.<\/p>\n Uma das vantagens de treinar v\u00e1rios algoritmos \u00e9 a seguinte:<\/p>\n Mas, por outro lado, ser\u00e1 mais dif\u00edcil de manter!<\/p>\n No final, decidimos adotar essa abordagem, pois ela estava produzindo melhores resultados.<\/p>\n<\/div><\/div><\/div><\/div><\/div> Como avaliar nosso modelo?<\/strong><\/span><\/p>\n Discutimos muitos modelos e seus desempenhos nas se\u00e7\u00f5es anteriores. Mas como se avalia um algoritmo de previs\u00e3o? Obviamente, isso \u00e9 muito semelhante a qualquer problema de aprendizado de m\u00e1quina, mas, ainda assim, tem suas pr\u00f3prias especificidades:<\/p>\n Conforme mencionado anteriormente, um dos desafios da previs\u00e3o de s\u00e9ries temporais \u00e9 evitar o vazamento de data. Isso pode acontecer durante a cria\u00e7\u00e3o de nossos recursos: defasagens, normaliza\u00e7\u00e3o de nossas vari\u00e1veis, etc.<\/p>\n Mas isso tamb\u00e9m pode acontecer ao fazer a valida\u00e7\u00e3o cruzada, dividida entre os conjuntos data de treinamento, valida\u00e7\u00e3o e teste.<\/p>\n O senhor n\u00e3o pode usar o cl\u00e1ssico\u00a0train_test_split()<\/em>\u00a0do sklearn. Por qu\u00ea? Imagine que seu conjunto de data seja as vendas de 2019. Se o senhor dividir aleatoriamente, treinar\u00e1 com data de janeiro, fevereiro, ..., dezembro de 2019 e seu data de teste ter\u00e1 vendas das mesmas datas! Como resultado, seu algoritmo treinar\u00e1 em padr\u00f5es que ele n\u00e3o ter\u00e1 na produ\u00e7\u00e3o, o que resulta em um problema de vazamento de data. Para resolver isso, h\u00e1 outras maneiras de dividir seu data, como a fun\u00e7\u00e3o TimeSeriesSplit()<\/em>\u00a0tamb\u00e9m do sklearn.<\/p>\n 2. A escolha da m\u00e9trica:<\/p>\n A previs\u00e3o de s\u00e9ries temporais \u00e9 um problema de regress\u00e3o e, como resultado, podemos usar as m\u00e9tricas cl\u00e1ssicas, como MSE, RMSE, mas outras tamb\u00e9m est\u00e3o dispon\u00edveis:<\/p>\n Otimizamos nosso algoritmo usando o RMSE, mas, para nos comunicarmos com nossos propriet\u00e1rios de neg\u00f3cios, usamos uma precis\u00e3o de previs\u00e3o ponderada:<\/p>\n Primeiro, calculamos esse valor em n\u00edvel de dia\/loja e, em seguida, o agregamos por loja usando uma m\u00e9dia ponderada, sendo os pesos as vendas por dia das diferentes lojas. Obviamente, essa m\u00e9trica pode ser contestada, mas tem a vantagem de ter um valor para cada loja e, se em um dia o gerente realmente tiver um desempenho superior (ruim ou bom), ele n\u00e3o ser\u00e1 superestimado. Al\u00e9m disso, o FA \u00e9 uma m\u00e9trica realmente interpret\u00e1vel que se relaciona com o neg\u00f3cio, ao contr\u00e1rio do RMSE.<\/p>\n Por fim, outra m\u00e9trica interessante de se ter em mente \u00e9 o biais, que apresenta a tend\u00eancia geral do algoritmo de prever demais ou de menos. Dependendo do caso de neg\u00f3cios, o senhor pode querer promover uma ou outra. Em nosso caso, fizemos uma previs\u00e3o ligeiramente acima do esperado para garantir que o produto estivesse na prateleira e manter nosso cliente satisfeito!<\/p>\n Palavras finais, alguns conselhos para qualquer projeto data<\/strong><\/span><\/p>\n Achei que tamb\u00e9m seria bom compartilhar com os senhores algumas dicas e erros que cometemos em n\u00edvel de projeto.<\/p>\n Antes de mais nada, como desenvolvemos nossos modelos, a engenharia de recursos?<\/p>\n Todas essas diferentes etapas e experimentos foram realizados em notebooks, mas o uso de notebooks n\u00e3o significa c\u00f3digo sujo! Pelo contr\u00e1rio, \u00e9 altamente recomend\u00e1vel que o senhor dedique tempo para escrever cadernos adequados com t\u00edtulos, nomes apropriados, fun\u00e7\u00f5es e eliminar linhas redundantes.<\/p>\n O uso de notebooks traz alguns desafios, especialmente quando muitos desenvolvedores trabalham juntos: conflitos no github, aus\u00eancia de c\u00f3digo replic\u00e1vel etc...<\/p>\n Aqui est\u00e3o algumas dicas para reduzir esses problemas:<\/p>\n Principais conclus\u00f5es<\/strong><\/span><\/p>\n Gostar\u00edamos muito de compartilhar com os senhores nossos resultados, mas n\u00e3o nos foi permitido por motivos de privacidade, mas podemos dizer que, com essa metodologia, conseguimos:<\/p>\n Mas, por outro lado, aqui est\u00e1 a lista dos nossos maiores aprendizados que, espero, ajudem o senhor a desenvolver sua pr\u00f3pria solu\u00e7\u00e3o:<\/p>\n\n
\n
![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2020\/11\/0_tmryqg1LTyu3u_b8.jpeg\")
<\/p>\n\n
\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/01TAXEHqr9CLKkcfH.png\")
<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/figure>\n\n
\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/0IHYfQrWymxriIbmh.png\")
<\/p>\n<\/div>\n\n
\n
\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/1TMosktPGqo5c6MG4bQVw8g.png\")
<\/p>\n<\/div>\n\n
\n
\n
![](\"https:\/\/www.artefact.com\/wp-content\/uploads\/2020\/06\/Global-Newsletter-Data-Digest_LinkedIn_600x315_april.jpg\" "\\"data-driven\\"")
<\/span><\/div><\/div><\/div>