Diferentes estrat\u00e9gias poss\u00edveis podem ser usadas para lidar com a quest\u00e3o dos valores intermitentes. Alguns participantes decidiram criar dois modelos separados: um para prever se o produto estar\u00e1 ou n\u00e3o dispon\u00edvel em um dia espec\u00edfico e outro para prever as vendas. Como muitos outros, escolhemos outra op\u00e7\u00e3o, que \u00e9 confiar em uma fun\u00e7\u00e3o objetiva adaptada ao problema: o\u00a0perda de tweedie<\/strong>.<\/p>\nSem entrar em detalhes matem\u00e1ticos, vamos tentar entender por que essa fun\u00e7\u00e3o de perda \u00e9 adequada ao nosso problema, comparando a distribui\u00e7\u00e3o de vendas no data de treinamento e a distribui\u00e7\u00e3o tweedie:<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/03\/image-3-.png\" "\\"imagem-3-\\"")
<\/span><\/div>Elas s\u00e3o bastante semelhantes e ambas t\u00eam valores concentrados em torno de 0. Definir a perda de tweedie como uma fun\u00e7\u00e3o objetiva basicamente for\u00e7ar\u00e1 o modelo a\u00a0maximizar a probabilidade dessa distribui\u00e7\u00e3o<\/strong>\u00a0e, assim, prever a quantidade certa de 0s. Al\u00e9m disso, essa fun\u00e7\u00e3o de perda vem com um par\u00e2metro - cujos valores variam de 1 a 2 - que pode ser ajustado para se adequar \u00e0 distribui\u00e7\u00e3o do problema em quest\u00e3o:<\/p>\n<\/div>![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/03\/image-4-.png\" "\\"imagem-4-\\"")
<\/span><\/div>Com base em nossa distribui\u00e7\u00e3o dataset, podemos esperar que o valor ideal esteja entre 1 e 1,5, mas, para sermos mais precisos, ajustaremos esse par\u00e2metro posteriormente com a valida\u00e7\u00e3o cruzada. Essa fun\u00e7\u00e3o objetiva tamb\u00e9m est\u00e1 dispon\u00edvel para outros modelos de aumento de gradiente, como XGBoost ou CatBoost, portanto, vale a pena tentar se o senhor estiver lidando com valores intermitentes.<\/p>\n<\/div>
Como fazer previs\u00f5es com 28 dias de anteced\u00eancia? Tirando o m\u00e1ximo proveito dos recursos de atraso<\/h2><\/div>Conforme explicado acima, os recursos de defasagem s\u00e3o vendas deslocadas por um determinado per\u00edodo de tempo. Portanto, seus valores dependem de onde o senhor se encontra no horizonte de previs\u00e3o. As vendas feitas em um determinado dia D podem ser consideradas como uma defasagem de 1 dia se o senhor estiver prevendo um dia \u00e0 frente, ou como uma defasagem de 28 dias se estiver prevendo 28 dias \u00e0 frente. O diagrama a seguir ilustra esse ponto:<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/03\/image-5.png\" "\\"imagem-5\\"")
<\/span><\/div>Esse conceito \u00e9 importante para entender quais recursos ser\u00e3o\u00a0dispon\u00edvel no momento da previs\u00e3o<\/strong>. Aqui, estamos no dia D e gostar\u00edamos de prever as vendas para os pr\u00f3ximos 28 dias. Se quisermos usar o mesmo modelo - e, portanto, os mesmos recursos - para fazer previs\u00f5es para todo o horizonte de previs\u00e3o, s\u00f3 poderemos usar defasagens dispon\u00edveis para prever todos os dias entre D+1 e D+28. Isso significa que, se usarmos o recurso de defasagem de 1 dia para treinar o modelo, essa vari\u00e1vel tamb\u00e9m ter\u00e1 de ser preenchida para previs\u00f5es em D+2, D+3, ... e D+28, j\u00e1 que se refere a datas no futuro.<\/p>\nAinda assim, os atrasos s\u00e3o provavelmente os\u00a0recursos com o maior poder de previs\u00e3o<\/strong>, Por isso, \u00e9 importante encontrar uma maneira de aproveitar ao m\u00e1ximo essas informa\u00e7\u00f5es. Consideramos tr\u00eas op\u00e7\u00f5es para contornar esse problema, vamos ver como elas se sa\u00edram.<\/p>\n<\/div>Op\u00e7\u00e3o 1: Um modelo para todas as semanas<\/h2><\/div>![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/03\/image-6.png\" "\\"imagem-6\\"")
<\/span><\/div>A primeira op\u00e7\u00e3o \u00e9 a mais \u00f3bvia. Ela consiste em usar o mesmo modelo para fazer previs\u00f5es para todas as semanas no horizonte de previs\u00e3o. Como acabamos de explicar, ela vem com uma grande restri\u00e7\u00e3o: somente os recursos dispon\u00edveis para a previs\u00e3o em D+28 podem ser usados. Portanto, temos de\u00a0eliminar todas as informa\u00e7\u00f5es fornecidas pelas 27 defasagens mais recentes<\/strong>. \u00c9 uma pena, pois as defasagens mais recentes s\u00e3o tamb\u00e9m as mais informativas, por isso consideramos outra op\u00e7\u00e3o.<\/p>\n<\/div>Op\u00e7\u00e3o 2: Modelos semanais<\/h2><\/div>![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/03\/image-7-.png\" "\\"imagem-7-\\"")
<\/span><\/div>Essa alternativa consiste em treinar um modelo LightGBM diferente para cada semana. No diagrama acima, cada modelo est\u00e1 aprendendo com as defasagens mais recentes poss\u00edveis em rela\u00e7\u00e3o \u00e0 restri\u00e7\u00e3o imposta por seu horizonte de previs\u00e3o. Seguindo a mesma l\u00f3gica da op\u00e7\u00e3o anterior, isso significa que cada modelo pode aproveitar todas as defasagens, exceto aquelas que s\u00e3o mais recentes do que o dia mais distante a ser previsto.<\/p>\n
Mais precisamente:<\/p>\n<\/div>
- <\/i><\/span>
O Modelo 1 faz previs\u00f5es para os dias 1 a 7, baseando-se em todas as defasagens, exceto as 6 mais recentes.<\/div><\/li>
- <\/i><\/span>
O modelo 2 faz previs\u00f5es para os dias 8 a 14, baseando-se em todas as defasagens, exceto as 13 mais recentes.<\/div><\/li>
- <\/i><\/span>
O Modelo 3 faz previs\u00f5es para os dias 15 a 21, baseando-se em todas as defasagens, exceto as 20 mais recentes.<\/div><\/li>
- <\/i><\/span>
O modelo 4 faz previs\u00f5es para os dias 22 a 28, baseando-se em todas as defasagens, exceto as 27 mais recentes, exatamente como na op\u00e7\u00e3o 1.<\/div><\/li><\/ul>
Esse m\u00e9todo nos permite\u00a0capitalizar melhor as informa\u00e7\u00f5es de defasagem das tr\u00eas primeiras semanas e, assim, melhorar a precis\u00e3o da previs\u00e3o de nossa solu\u00e7\u00e3o<\/strong>. Valeu a pena porque era uma competi\u00e7\u00e3o da Kaggle, mas o senhor\u00a0para um projeto industrializado, quest\u00f5es de complexidade, manuten\u00e7\u00e3o e interpretabilidade tamb\u00e9m devem ser levadas em considera\u00e7\u00e3o<\/strong>.<\/p>\nNa verdade, essa op\u00e7\u00e3o pode ser cara do ponto de vista computacional e, se estivermos buscando uma implementa\u00e7\u00e3o em escala nacional, isso exigiria a manuten\u00e7\u00e3o de centenas de modelos em tempo real. Nesse caso, seria necess\u00e1rio avaliar se o incremento de desempenho \u00e9 grande o suficiente para justificar essa implementa\u00e7\u00e3o mais complexa.<\/p>\n<\/div>
Op\u00e7\u00e3o 3: Modelagem recursiva<\/h2><\/div>![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/03\/image-8.png\" "\\"imagem-8\\"")
<\/span><\/div>A \u00faltima op\u00e7\u00e3o tamb\u00e9m usa modelos semanais, mas dessa vez de forma recursiva.\u00a0Modelagem recursiva<\/strong>\u00a0significa que as previs\u00f5es geradas para uma determinada semana ser\u00e3o usadas como recursos de atraso para as semanas seguintes. Isso acontece\u00a0sequencialmente<\/strong>O senhor pode usar a op\u00e7\u00e3o 1: primeiro fazemos previs\u00f5es para a primeira semana usando todas as defasagens, exceto as 6 mais recentes. Em seguida, prevemos a segunda semana usando nossas previs\u00f5es anteriores como defasagens de uma semana, em vez de excluir mais defasagens como na op\u00e7\u00e3o 2. Ao repetir o mesmo processo, sempre temos defasagens recentes dispon\u00edveis, mesmo para as semanas 3 e 4, o que nos permite aproveitar essas informa\u00e7\u00f5es para treinar os modelos.<\/p>\nVale a pena testar esse m\u00e9todo, mas lembre-se de que ele \u00e9 bastante\u00a0inst\u00e1vel, pois os erros se propagam de uma semana para outra<\/strong>. Se o modelo da primeira semana cometer erros importantes, esses erros ser\u00e3o tomados como verdade pelo modelo seguinte, que inevitavelmente ter\u00e1 um desempenho ruim, e assim por diante. \u00c9 por isso que decidimos\u00a0ficar com a op\u00e7\u00e3o 2<\/strong>, O senhor pode usar o seu computador, que parece ser mais confi\u00e1vel.<\/p>\n<\/div>Garantir a robustez do modelo com uma valida\u00e7\u00e3o cruzada adequada: Por que a valida\u00e7\u00e3o cruzada \u00e9 fundamental para s\u00e9ries temporais<\/h2><\/div>Em qualquer projeto de aprendizado de m\u00e1quina, a ado\u00e7\u00e3o de uma estrat\u00e9gia de valida\u00e7\u00e3o cruzada adequada \u00e9 fundamental para simular corretamente a precis\u00e3o fora da amostra, selecionar cuidadosamente os hiperpar\u00e2metros e evitar o ajuste excessivo. Quando se trata de previs\u00e3o, isso deve ser feito com cuidado porque h\u00e1 uma depend\u00eancia temporal entre as observa\u00e7\u00f5es que deve ser preservada. Em outras palavras, queremos evitar que o modelo olhe para o futuro quando o treinamos<\/strong>.<\/p>\nO per\u00edodo de valida\u00e7\u00e3o durante o qual o modelo \u00e9 testado tamb\u00e9m tem uma import\u00e2ncia maior quando se trata de s\u00e9ries temporais. O desempenho do modelo e o conjunto ideal de hiperpar\u00e2metros podem variar muito, dependendo do per\u00edodo em que o modelo \u00e9 treinado e testado. Portanto, nosso objetivo \u00e9 descobrir quais par\u00e2metros t\u00eam maior probabilidade de maximizar o desempenho, n\u00e3o em um per\u00edodo aleat\u00f3rio, mas no per\u00edodo que queremos prever<\/strong>, ou seja, as pr\u00f3ximas 4 semanas.<\/p>\n<\/div>Adaptar o processo de valida\u00e7\u00e3o ao problema em quest\u00e3o<\/h2><\/div>Para atingir esse objetivo, selecionamos 5 conjuntos de valida\u00e7\u00e3o que foram\u00a0relevantes para o per\u00edodo de previs\u00e3o<\/strong>. O diagrama abaixo mostra como eles s\u00e3o distribu\u00eddos ao longo do tempo. Para cada dobra de valida\u00e7\u00e3o cruzada, o modelo \u00e9 treinado com v\u00e1rias combina\u00e7\u00f5es de par\u00e2metros no conjunto de treinamento e avaliado no conjunto de valida\u00e7\u00e3o usando a raiz do erro quadr\u00e1tico m\u00e9dio.<\/p>\n<\/div>![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/03\/Image-9-.png\" "\\"Imagem-9-\\"")
<\/span><\/div>As dobras 1, 2 e 3 visam identificar os par\u00e2metros que teriam maximizado o desempenho em per\u00edodos recentes, basicamente nos \u00faltimos 3 meses. O problema \u00e9 que esses tr\u00eas meses podem ter especificidades diferentes das do pr\u00f3ximo per\u00edodo que estamos querendo prever. Por exemplo, vamos imaginar que as lojas lan\u00e7aram uma grande temporada promocional nos \u00faltimos meses e que ela acabou hoje.<\/p>\n
Essas promo\u00e7\u00f5es provavelmente afetariam o comportamento do modelo, mas seria arriscado confiar apenas nesses per\u00edodos recentes para ajust\u00e1-lo, pois isso n\u00e3o representa o que acontecer\u00e1 no futuro.<\/p>\n
Para atenuar esse risco, tamb\u00e9m inclu\u00edmos as dobras 4 e 5, que correspondem ao per\u00edodo de previs\u00e3o deslocado em 1 e 2 anos, respectivamente. \u00c9 prov\u00e1vel que esses per\u00edodos sejam semelhantes porque o problema tem uma forte sazonalidade anual, o que geralmente ocorre no varejo. Caso tiv\u00e9ssemos uma periodicidade diferente, poder\u00edamos escolher qualquer estrat\u00e9gia de valida\u00e7\u00e3o cruzada que fizesse mais sentido para os neg\u00f3cios. No final, selecionamos a combina\u00e7\u00e3o de hiperpar\u00e2metros com o menor erro nas 5 dobras para treinar o modelo final.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/04\/Medium-Blog.png\" "\\"M\u00e9dio")
<\/span><\/div><\/div><\/div><\/div><\/div>![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/03\/Image-1-.png\" "\\"Imagem-1-\\"")
<\/span><\/div>![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/03\/image-2-.png\" "\\"imagem-2-\\"")
<\/span><\/div>![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/03\/Image-10.png\" "\\"Imagem-10\\"")
<\/span><\/div>