{"id":65478,"date":"2021-11-26T14:35:34","date_gmt":"2021-11-26T14:35:34","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=news&p=65478"},"modified":"2024-09-20T17:45:47","modified_gmt":"2024-09-20T16:45:47","slug":"the-path-to-developing-a-high-performance-demand-forecasting-model-part-4","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/de\/blog\/the-path-to-developing-a-high-performance-demand-forecasting-model-part-4\/","title":{"rendered":"Der Weg zur Entwicklung eines leistungsstarken Nachfrageprognosemodells - Teil 4"},"content":{"rendered":"

Autor<\/h2><\/div>\"Image\"

Kasra Mansouri<\/h3><\/div>

Leitender Data-Wissenschaftler bei Artefact<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Lesen Sie unseren Artikel \u00fcber<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Bisher haben wir vor allem \u00fcber Prognosen f\u00fcr regul\u00e4re Produkte gesprochen, die schon seit einiger Zeit im Regal stehen. Aber was ist mit Produkten, die erst vor kurzem auf den Markt gekommen sind?
\nIn diesem Artikel zeigen wir Ihnen, wie wir dieses Problem angegangen sind, indem wir eine alternative L\u00f6sung f\u00fcr unser Boosting-Modell vorgeschlagen haben, die auf Produkt\u00e4hnlichkeiten basiert.
\nEs besteht darin, ein Clustermodell f\u00fcr alte Innovationen zu trainieren, um \u00c4hnlichkeiten in den Absatzmustern zu erkennen, diese dann mit einem Klassifizierungsmodell auf Produktmerkmale abzubilden und dann mit einfachen statistischen Methoden auf der Grundlage der Ergebnisse von Modell 1 und 2 auf den Absatz der neuen Innovation zu schlie\u00dfen.<\/p>\n<\/div>

Warum ist es so schwierig, die Markteinf\u00fchrung neuer Produkte vorherzusagen?<\/h1><\/div>

Ein wenig Kontext<\/h2><\/div>

Produkteinf\u00fchrungen sind im Einzelhandel sehr \u00fcblich. Es liegt in der Natur von Konsumg\u00fcterherstellern, ihre Produkte zu diversifizieren. Sie wollen ihre Kunden ansprechen und ihre Produkte an Verhaltens\u00e4nderungen anpassen. Das Unternehmen, f\u00fcr das wir das Projekt durchgef\u00fchrt haben, war da keine Ausnahme. Es bringt jedes Jahr fast 50-60 Innovationen (neue Produkte) heraus.
\nWir definieren eine Innovation eher als eine neue Produktmarke, die auf den Markt gebracht wird, oder als ein neues Produkt mit einer neuen Geschmacksrichtung, das zu einer bereits bestehenden Marke hinzugef\u00fcgt wird. Nach einer gewissen Zeit (in unserem Fall zum Beispiel 2 Monate) wird eine Innovation zu einem regul\u00e4ren Produkt.
\nEs gibt andere F\u00e4lle, in denen ein neuer Produktcode generiert werden kann, wie z.B.<\/p>\n<\/div>

  • <\/i><\/span>
    Geringf\u00fcgige \u00c4nderung des Gewichts eines bestehenden Produkts<\/div><\/li>
  • <\/i><\/span>
    Geringf\u00fcgige \u00c4nderung der Formel eines bestehenden Produkts<\/div><\/li>
  • <\/i><\/span>
    Wechsel der Fabrik, die das Produkt herstellt<\/div><\/li><\/ul>

    Wir betrachten diese F\u00e4lle nicht als Innovationen, sondern als Renovierungen und daher fallen sie nicht in unseren Anwendungsbereich. Wir hatten Zugang zu Produkteinf\u00fchrungen mit einem Umsatz von data von 2017 bis 2019, also etwa 150 innovative Produkte.<\/p>\n<\/div>

    Die gr\u00f6\u00dfte Herausforderung<\/h2><\/div>

    Unsere Aufgabe war es, w\u00f6chentliche Prognosen f\u00fcr die kommenden 14 Wochen zu erstellen\u00a0Lager\/Tag\/Produkt<\/strong>\u00a0Niveau.
    \nDas erste Mal, dass das Modell angewendet werden musste, war\u00a07 Tage nach seinem Start<\/strong>, d.h. es h\u00e4tte nur 7 Tage historische data und m\u00fcsste die Verk\u00e4ufe f\u00fcr die kommenden 14 x 7 = 98 Tage vorhersagen! Das letzte Mal, dass wir das Modell anwenden mussten, war\u00a060 Tage nach dem Start<\/strong>. Das bedeutet, dass ein eingef\u00fchrtes Produkt nach 2 Monaten als \u201cregul\u00e4res Produkt\u201d betrachtet wird, da es eine gewisse \u201cStabilit\u00e4t\u201d in seinen Verkaufszyklen erreicht hat, aber das h\u00e4ngt nat\u00fcrlich von der Aktivit\u00e4t Ihres Unternehmens und der Art des Produkts ab. Nach dieser 2-monatigen Phase w\u00fcrde das Kernmodell (das f\u00fcr regul\u00e4re Produkte entwickelt wurde) das Innovationsmodell \u00fcbernehmen und Prognosen f\u00fcr die jeweilige Markteinf\u00fchrung erstellen. Diese Entscheidung wurde von den Gesch\u00e4ftsteams best\u00e4tigt, die \u00fcber einige Kenntnisse der Verkaufszyklen von Innovationen verf\u00fcgen.<\/p>\n<\/div>

    Sehr begrenzt historisch data<\/h3><\/div>

    Die Menge an historischen data, die uns zur Verf\u00fcgung steht, ist f\u00fcr genaue Prognosen kritisch gering. Wir haben ein Trainings-dataset, das viel kleiner ist als unser Vorhersage-\/Test-dataset, und das f\u00fchrt oft zu einer sehr schlechten Prognosegenauigkeit. Wir sprechen hier von einem Trainings-data von einigen Wochen und m\u00fcssen Prognosen f\u00fcr 98 Tage erstellen.<\/p>\n<\/div>

    Eingef\u00fchrte Produkte haben anfangs sehr instabile Verkaufszahlen<\/h3><\/div>

    Au\u00dferdem,\u00a0Die Verk\u00e4ufe von data sind in den ersten Wochen nach der Markteinf\u00fchrung oft sehr chaotisch, da sich die Trends dramatisch \u00e4ndern k\u00f6nnen.<\/strong>. In der Tat bestellen die Einzelh\u00e4ndler in den ersten 2 Wochen riesige Mengen der Innovation, um ihre Regale aufzuf\u00fcllen, sie nennen dies die\u00a0Erf\u00fcllungsphase.\u00a0<\/em>Danach gehen die Bestellungen im Allgemeinen auf W3 und W4 zur\u00fcck und steigen dann wieder etwas an.
    \nAuch hier kann viel passieren: Einige Einzelh\u00e4ndler stellen vielleicht fest, dass sich das neue Produkt in den ersten Wochen in ihren Gesch\u00e4ften nicht besonders gut verkauft und reduzieren daher als schnelle Reaktion ihre Bestellungen drastisch. Oder ein Produkt kann von einigen Einzelh\u00e4ndlern in gro\u00dfen Mengen bestellt werden, die der Hersteller nicht vollst\u00e4ndig erf\u00fcllen kann, weil er nicht mit dieser Nachfrage gerechnet hat. Die Einzelh\u00e4ndler werden in den folgenden Wochen weiterhin gro\u00dfe Mengen bestellen, um die Mengen zu kompensieren, f\u00fcr die sie nicht vollst\u00e4ndig beliefert wurden.<\/p>\n<\/div>\"Image\"

    All die oben aufgef\u00fchrten Elemente sind eine klare Erkl\u00e4rung daf\u00fcr, warum die Vorhersage von Innovationsverk\u00e4ufen schwierig ist und warum wir daher ein spezielles Modell f\u00fcr diese Produkte entwickeln mussten.<\/p>\n<\/div>

    Bewertungskriterien<\/h2><\/div>

    Wir hatten die gleichen Bewertungsma\u00dfst\u00e4be wie f\u00fcr regul\u00e4re Produkte (W+1 und W+2 Vorhersagegenauigkeit auf nationaler\/w\u00f6chentlicher Ebene). Zur Erinnerung: Hier ist die Formel f\u00fcr die Vorhersagegenauigkeit:<\/p>\n<\/div>\"Image\"

    Wir haben diesem Problem eine weitere Dimension hinzugef\u00fcgt. Wir haben diese Metriken f\u00fcr jede\u00a0Vorhersagedatum<\/em>\u00a0(das Datum, an dem wir unsere Vorhersage machen) in Bezug auf den Starttermin.
    \nWir haben die W+1- und W+2-Prognosegenauigkeit f\u00fcr Vorhersagedaten von T+7 bis T+49 \u00fcberwacht, was bedeutet, dass unsere Scorecard wie folgt aussehen w\u00fcrde:<\/p>\n<\/div>\"Image\"

    Der Grund, warum wir diese Dimension hinzugef\u00fcgt haben, ist, dass es f\u00fcr Bedarfsplaner sehr wichtig ist, die Leistung ihrer Prognosen in den ersten Wochen der Markteinf\u00fchrung zu \u00fcberwachen. Ein Modell, das in den ersten Wochen gute Prognosen liefert, erm\u00f6glicht es ihnen, gro\u00dfe Nachschubprobleme zu vermeiden (die nach der Markteinf\u00fchrung aufgrund von Ungewissheit h\u00e4ufig auftreten) und letztendlich erfolgreich zu sein.<\/p>\n<\/div>

    Vorgeschlagener Ansatz<\/h1><\/div>

    Warum hat das klassische ML schlechte Ergebnisse geliefert?<\/h2><\/div>

    Wie bereits gesagt, haben wir ein \u201ckleines data\u201d Problem. Die geringe Gr\u00f6\u00dfe unseres Trainings data und seine sehr erratische Natur machen es f\u00fcr ein maschinelles Lernmodell ungeeignet.
    \nMeistens ben\u00f6tigen Boosting-Modelle 2-3 Jahre historischer Verk\u00e4ufe data, um allgemeine Trends\/Saisonalit\u00e4tseffekte zu erkennen, und mindestens 2-3 Monate der Zeitreihe data f\u00fcr ein Produkt, um \u201cgenaue Vorhersagen\u201d zu machen. Dies war bei uns nicht der Fall. Unser XGBoost-Modell sah nur ein paar Wochen historischer Verk\u00e4ufe f\u00fcr jedes Produkt.
    \nWir haben ein XGBoost-Modell auf Innovationsprodukte mit der folgenden Logik trainiert<\/p>\n<\/div>

    • <\/i><\/span>
      Wir haben ein Modell auf der Ebene Produkt\/National\/Tag trainiert. Die Idee war, die Prognosen dann auf der Ebene von Produkten\/Tagen\/Einzelh\u00e4ndlern mit einigen Gesch\u00e4ftsregeln zu disaggregieren.<\/div><\/li>
    • <\/i><\/span>
      Wir haben das Modell mit den gleichen Funktionen wie das Kernmodell gef\u00fcttert, mit Ausnahme einer zus\u00e4tzlichen Funktion, n\u00e4mlich dem Datum der Markteinf\u00fchrung des Produkts.<\/div><\/li>
    • <\/i><\/span>
      Wir haben das Training\/Test auf der Grundlage von Produkten durchgef\u00fchrt<\/div><\/li>
    • <\/i><\/span>
      Alle Produkte, die vor 2019 auf den Markt kamen, wurden in das Trainingsset aufgenommen, d.h. wir haben ihre Ums\u00e4tze in den ersten 2 Monaten in das Trainingsset aufgenommen.<\/div><\/li>
    • <\/i><\/span>
      Alle Produkte, die nach 2019 auf den Markt gekommen sind, waren in der Testgruppe.<\/div><\/li>
    • <\/i><\/span>
      Das Modell w\u00fcrde mehrmals trainiert werden, jedes Mal bis zum Tag vor dem Vorhersagedatum (D+7, D+14, usw.)<\/div><\/li><\/ul>

      Und die Ergebnisse waren ganz und gar nicht gut! Deshalb haben wir beschlossen, unseren Ansatz f\u00fcr diese Produkte komplett zu \u00e4ndern.<\/p>\n<\/div>\"Image\"

      Auch klassische Zeitreihenmodelle haben den Tag nicht gerettet<\/h2><\/div>

      Da unser erster Versuch mit XGBoost ein totaler Fehlschlag war, haben wir beschlossen, unser Gl\u00fcck mit einigen guten altmodischen Zeitreihenmodellen (VARMA, SARIMAX, Prophet, usw.) zu versuchen. Zeitreihenmodelle haben den Vorzug, dass sie einfacher und leichter zu interpretieren sind als Boosting-Modelle. Da sie auf ein einziges Produkt trainiert werden, k\u00f6nnen sie sich au\u00dferdem leichter an abrupte Trend\u00e4nderungen anpassen.
      \nDie Idee war, ein Modell (z.B. ein Prophet-Modell) pro Produkt zu trainieren, das Vorhersagen auf nationaler\/t\u00e4glicher Ebene machen w\u00fcrde. Wie oben beschrieben, w\u00fcrde das Modell auch mehrmals trainiert werden, jedes Mal bis zum Tag vor dem Vorhersagedatum (T+7, T+14 usw.), und Prognosen f\u00fcr den 14-Wochen-Horizont erstellen.
      \nAber auch hier waren die Ergebnisse nicht zufriedenstellend und der Grund daf\u00fcr war so ziemlich derselbe: nicht gen\u00fcgend historische data! Die Historie war zu oberfl\u00e4chlich und die data zu un\u00fcbersichtlich, als dass das Modell ein klares Muster h\u00e4tte erkennen und genaue Vorhersagen machen k\u00f6nnen.<\/p>\n<\/div>\"Image\"

      Produkt-Clustering auf der Grundlage von \u00c4hnlichkeiten: der Messias<\/h2><\/div>

      Da unsere beiden ersten Versuche, Prognosen zu erstellen, nicht schl\u00fcssig waren, haben wir beschlossen, eine ganz andere Richtung einzuschlagen.
      \nWir analysierten die Ums\u00e4tze aller Innovationen von 2017 bis 2019 und stellten fest, dass viele in den ersten Monaten ihrer jeweiligen Einf\u00fchrung \u00e4hnliche Umsatzkurven aufwiesen. Das brachte uns auf die Idee, Prognosen auf der Grundlage von Produkt\u00e4hnlichkeiten mit alten Innovationen zu erstellen. Unsere Intuition wurde gest\u00e4rkt, da wir einige Forschungsarbeiten anderer data-Kollegen fanden, die einen \u00e4hnlichen Ansatz vorschlugen (1).
      \nUnser Ansatz bestand aus 3 grundlegenden Schritten<\/p>\n<\/div>

      Clustering alter Innovationen auf der Grundlage des Umsatzes - Data scope : Innovationen, die von 2017 bis 2018 eingef\u00fchrt wurden, enthalten<\/h3><\/div>

      Die Idee besteht darin, alte Innovationen auf der Grundlage ihrer Zeitreihenkurve in Gruppen \u00e4hnlicher Produkte zu gruppieren. Produkte, die sich im gleichen Cluster befinden, haben \u00e4hnliche Absatzmuster. Daher kann der Absatz einer einzelnen Innovation aus der Kenntnis des Absatzes \u00e4lterer Innovationen abgeleitet werden.
      \nUnsere Eingabe data war die\u00a0MinMax normalisierte kumulierte Verk\u00e4ufe von alten Innovationen w\u00e4hrend ihrer ersten 5 Monate<\/strong>. Wir haben uns die kumulierten Ums\u00e4tze angesehen, weil wir wollten, dass unser Clustermodell ein Gef\u00fchl daf\u00fcr bekommt, wann jedes Produkt sein regul\u00e4res Umsatztempo erreichen wird. Wir haben die kumulierten Ums\u00e4tze normalisiert, weil einige Produkte zwar die gleiche Kurvenform, aber unterschiedliche Umsatzvolumina aufwiesen und wir sie in das gleiche Cluster einordnen wollten, da wir uns hier auf die \u00c4hnlichkeit konzentrieren.
      \nWir haben unsere Produkte mit einem Cluster versehen\u00a0K-Means Modell<\/strong>\u00a0wobei der K-Parameter automatisch durch einen Benchmark ausgew\u00e4hlt wird, der die\u00a0Scherenschnitt-Index<\/em>.Die optimale Anzahl war K=4.<\/strong>Wir haben auch verschiedene Abstandsmetriken zwischen\u00a0euklidisch<\/em>\u00a0und\u00a0DTW,\u00a0<\/em>wobei euklidisch bei unseren Tests zufriedenstellendere Ergebnisse lieferte.<\/p>\n<\/div>\"Image\"\"Image\"

      Klassifizierungsmodell zur Vorhersage des Clusters eines Produkts auf der Grundlage seiner Attribute - Data scope : Zu den von 2017 bis 2018 eingef\u00fchrten Innovationen geh\u00f6ren<\/h3><\/div>

      Die Idee dabei ist, eine Verbindung zwischen dem Cluster, zu dem das Produkt geh\u00f6rt, und seinen Attributen wie Dimension, Marke, Geschmack usw. sowie einigen kontextbezogenen data wie Einf\u00fchrungszeitraum, Medienkampagnen usw. zu finden. Diese Verbindung wird mit Hilfe eines Klassifizierungsmodells gefunden.
      \nDas Modell w\u00fcrde mit Produktattributen zusammen mit kontextbezogenen data gef\u00fcttert werden und versuchen, auf dieser Grundlage das Cluster einer Innovation vorherzusagen. Die Intuition hinter diesem Ansatz ist, zu sehen, ob wir die folgende Frage beantworten k\u00f6nnen:
      \nWenn wir die Eigenschaften einer Innovation + den Kontext data im Voraus kennen, k\u00f6nnen wir dann vorhersagen, wie sich dieses Produkt nach seiner Einf\u00fchrung verkaufen wird?<\/em><\/strong>
      \nDa wir nur eine sehr begrenzte Anzahl von data (etwa 100 Produkte) zur Verf\u00fcgung hatten, trainierten wir einen einfachen BaggingClassifier auf unsere Produkte mit einem 75%-25%-Train\/Test-Split. Am Ende hatten wir eine\u00a0F1 Ergebnis von 84%<\/strong>\u00a0auf dem Testset.
      \nWir haben eine Analyse der Produktattribute durchgef\u00fchrt, um zu sehen, ob wir eine gesch\u00e4ftliche Erkl\u00e4rung f\u00fcr jedes Cluster finden k\u00f6nnen, und hier sind unsere Ergebnisse:<\/p>\n<\/div>