![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/04\/Medium-Blog.png\" "\\"Mittel")
<\/span><\/div><\/div><\/div>NACHRICHTEN \/ KI-TECHNOLOGIE<\/p>\n<\/div>
25. November 2020
\nWir bei Artefact sind so franz\u00f6sisch, dass wir beschlossen haben, Machine Learning auf Croissants anzuwenden. Dieser erste von zwei Artikeln erkl\u00e4rt, wie wir beschlossen haben, Catboost zu verwenden, um die Verk\u00e4ufe von \u201cviennoiseries\u201d vorherzusagen. Die wichtigsten Merkmale, die den Umsatz beeinflussen, sind die letzten w\u00f6chentlichen Verk\u00e4ufe, die Tatsache, ob das Produkt im Sonderangebot ist oder nicht und der Preis. Wir stellen Ihnen einige nette technische Funktionen vor, darunter die Kannibalisierung und warum Sie Ihre Zielvariable manchmal aktualisieren m\u00fcssen.<\/p>\n<\/div><\/div><\/div><\/div><\/div>
Was ist das?<\/strong><\/span><\/p>\n Wir bei Artefact sind so franz\u00f6sisch, dass wir beschlossen haben, Machine Learning auf Croissants anzuwenden. Dieser erste von zwei Artikeln erkl\u00e4rt, wie wir beschlossen haben, Catboost zu verwenden, um die Verk\u00e4ufe von \u201cviennoiseries\u201d vorherzusagen. Die wichtigsten Merkmale, die den Umsatz beeinflussen, sind die letzten w\u00f6chentlichen Verk\u00e4ufe, die Tatsache, ob das Produkt im Sonderangebot ist oder nicht, und der Preis.<\/p>\n Wir stellen Ihnen einige nette Funktionen vor, darunter Kannibalisierung und warum Sie manchmal Ihre Zielvariable aktualisieren m\u00fcssen. Wir haben die Vorhersagegenauigkeit und die Biais als Bewertungsmetriken gew\u00e4hlt. In unserem zweiten Artikel werden wir Ihnen erkl\u00e4ren, wie wir dieses Modell in die Produktion gebracht haben und einige Best Practices von ML Ops.<\/p>\n F\u00fcr wen?<\/strong><\/span><\/p>\n Mitnehmen?<\/strong><\/span><\/p>\n Kontext<\/strong><\/span><\/p>\n Wir haben k\u00fcrzlich an einem wirklich interessanten und herausfordernden Thema f\u00fcr einen gro\u00dfen Einzelh\u00e4ndler in Frankreich gearbeitet: Wie kann man die t\u00e4gliche Nachfrage nach frischen, verderblichen Produkten wie Geb\u00e4ck, einschlie\u00dflich unserer geliebten Croissants, vorhersagen?.<\/p>\n Dieser Einzelh\u00e4ndler stand vor einem klassischen Problem der Lieferkette: Jeden Tag m\u00fcssen seine B\u00e4cker eine bestimmte Menge frischer, leicht verderblicher Produkte backen: Croissants, Schokoladenbrote, Baguettes, Zitronenkuchen usw. Die meisten dieser Produkte sind nicht l\u00e4nger als einen Tag haltbar, und wenn sie nicht verkauft werden, gelten sie als verlorene Einnahmen. Wenn sie nicht verkauft werden, gelten sie als verlorene Einnahmen. Sind sie hingegen tags\u00fcber nicht im Regal verf\u00fcgbar, f\u00fchrt dies zu unzufriedenen Verbrauchern und einem Geldverlust. Die Herausforderung besteht darin, die Menge jedes verderblichen Produkts f\u00fcr jede Filiale sieben Tage im Voraus vorherzusagen. Ziel dieses Projekts war es daher, die Regalverf\u00fcgbarkeit zu verbessern und gleichzeitig die Lebensmittelverschwendung zu reduzieren.<\/p>\n Um die Verk\u00e4ufe einige Tage im Voraus zu prognostizieren, wurde bereits eine interne L\u00f6sung mit einfachen statistischen Ma\u00dfnahmen verwendet. Nachdem wir uns jedoch mit den Managern der B\u00e4ckerei getroffen hatten, wurde uns klar, dass es ein deutliches Verbesserungspotenzial gab, indem wir mehr data und Funktionen wie saisonale Effekte, Wetter, Feiertage, Produktsubstitutionseffekte usw. nutzten. Wir haben daher beschlossen, die aktuelle L\u00f6sung als Basis zu verwenden und neuere Algorithmen auszuprobieren, um die Prognosegenauigkeit zu verbessern.<\/p>\n Und zum Abschluss dieser Einf\u00fchrung eine Illustration der Herausforderung und dessen, was wir erreichen wollen.<\/p>\n Entwicklung von Modellen<\/strong><\/span><\/p>\n Jetzt, da wir ein gut definiertes Problem und einige Ziele haben, k\u00f6nnen wir endlich damit beginnen, sch\u00f6nen Python-Code in unseren Notizb\u00fcchern zu schreiben - der Spa\u00df kann beginnen!<\/p>\n Data Anfrage<\/strong><\/span><\/p>\n Wie bei jedem wissenschaftlichen data-Projekt beginnt alles mit data. Aus Erfahrung empfehlen wir dringend, die data-Anfrage so fr\u00fch wie m\u00f6glich zu stellen. Scheuen Sie sich nicht, viele data anzufordern und stellen Sie sicher, dass Sie f\u00fcr jede data-Quelle einen Ansprechpartner finden, an den Sie sich wenden k\u00f6nnen, um Ihre Fragen zur data-Sammlung oder zum Aufbau des data zu stellen.<\/p>\n Dank der verschiedenen Treffen konnten wir eine Liste der data erstellen, die wir verwenden konnten:<\/p>\n Explorative Data-Analyse (EDA) und Erkennung von Ausrei\u00dfern<\/strong><\/span><\/p>\n Sobald das data gesammelt war, haben wir mit der Analyse begonnen. Gibt es eine Saisonalit\u00e4t in meinem data? Ein Trend? Wie viele Produkte habe ich? Sind sie im Laufe der Zeit gleichbleibend? Gibt es saisonale Produkte?<\/p>\n Bei der Aufzeichnung der verschiedenen Zeitreihen haben wir auch einige interessante Merkmale entdeckt:<\/p>\n Beachten Sie, dass wir verschiedene Funktionen in Bezug auf die Preisgestaltung erstellt haben. Den absoluten Preis, aber auch die relativen Preise im Vergleich zu anderen Produkten in der gleichen Unterfamilie, Familie oder im gleichen Gesch\u00e4ft. Der relative Preis ist eine M\u00f6glichkeit, die Preiskannibalisierung zwischen Produkten zu quantifizieren. Wir haben auch Merkmale erstellt, die die Preisschwankungen eines Produkts im Laufe der Zeit darstellen.<\/p>\n Bei solch bodenst\u00e4ndigen Vorhersageaufgaben steckt der Teufel im Detail und es ist wirklich wichtig, nach Ausrei\u00dfern und Anomalien zu suchen, sich die Zeit zu nehmen, Ihr data zu crunchen.<\/p>\n Aber zun\u00e4chst einmal: Warum sollten wir uns \u00fcberhaupt die M\u00fche machen, Ausrei\u00dfer zu erkennen? Daf\u00fcr gibt es viele Gr\u00fcnde. Sie k\u00f6nnen auf schlechte data, Fehler in den ETLs oder Gesch\u00e4ftsprozesse hinweisen, die Sie nicht kannten. Zweitens ist es sehr wahrscheinlich, dass es sich auf Ihren Algorithmus und den Inferenzteil auswirkt, so dass es definitiv ein wichtiger Teil der Entwicklung ist.<\/p>\n Sie k\u00f6nnen Ausrei\u00dfer zu verschiedenen Zeitpunkten des Projekts erkennen, entweder w\u00e4hrend der explorativen data-Analyse (EDA) oder durch Analyse der gr\u00f6\u00dften Fehler Ihrer Modelle.<\/p>\n Bei der EDA haben wir einige seltsame data entdeckt, wie z.B. B2B-Verk\u00e4ufe, z.B. 1800 Verk\u00e4ufe eines einzigen Artikels auf einem einzigen Kaufbeleg. Ausrei\u00dfer im Zusammenhang mit der Preisgestaltung, die meist auf manuelle Fehler der Kassiererin zur\u00fcckzuf\u00fchren sind: negative Preise oder ein Croissant, das 250 Euro kostet!<\/p>\n Wir haben festgestellt, dass unsere Vorhersagen an den ersten Tagen der Aktionszeitr\u00e4ume manchmal v\u00f6llig daneben lagen. Nach einiger Analyse stellten wir fest, dass dies darauf zur\u00fcckzuf\u00fchren war, dass die Aktion einen Tag vor oder nach dem offiziellen Tag gestartet wurde. In der Tat hat sich der Manager manchmal die Freiheit genommen, den Beginn oder das Ende der Werbeaktionen zu \u00e4ndern. Diese \u00c4nderungen k\u00f6nnen im Trainingsset data erkannt und korrigiert werden, k\u00f6nnen aber zu gro\u00dfen Fehlern bei der Vorhersage f\u00fchren. In der Tat k\u00f6nnen Werbeaktionen ein 4- bis 5-mal gr\u00f6\u00dferes Volumen erreichen als eine Nicht-Werbeaktion.<\/p>\n Hier eine Liste mit weiteren interessanten Beispielen f\u00fcr Prozesse und Mechanismen, die wir dank dieser Analyse entdeckt haben und die Sie vielleicht in Ihren Projekten finden:<\/p>\n Von der Absatzprognose zur optimalen Absatzprognose<\/strong><\/span><\/p>\n Eine Herausforderung veranlasste uns, unsere Zielvariable zu aktualisieren. Manchmal erwartete die Abteilung aufgrund eines unerwarteten Einflusses oder einer schlechten Vorhersage einen Mangel an Produkten vor Ende des Tages. Dann k\u00f6nnen zwei Ph\u00e4nomene auftreten: Der Kunde, der sein Produkt nicht finden kann, kauft nichts oder er kauft ein \u00e4hnliches Produkt. Anhand der historischen data haben wir einige Verteilungsgesetze (grundlegende Statistiken) abgeleitet, die uns geholfen haben, diese Auswirkungen zu modellieren und unsere Zielvariable zu aktualisieren, um nicht die historischen Verk\u00e4ufe, sondern die optimalen Verk\u00e4ufe f\u00fcr ein bestimmtes Produkt vorherzusagen.<\/p>\n Diese Aktualisierung der Zielvariablen ist heikel, denn es ist wirklich schwer zu sagen, ob die Aktualisierung sinnvoll war. Haben Sie die Qualit\u00e4t des data wirklich verbessert oder verschlechtert? Eine M\u00f6glichkeit, unsere Auswirkungen zu quantifizieren, bestand darin, Verk\u00e4ufe zu nehmen, die nicht auf Lager waren, und einen falschen Mangel zu erzeugen, z.B. alle Verk\u00e4ufe nach 17 oder 18 Uhr zu entfernen und dann zu versuchen, die Verk\u00e4ufe zu rekonstruieren. Diese Methode hilft uns, zu einem klassischen \u00fcberwachten Problem zur\u00fcckzukehren, das wir objektiv bewerten k\u00f6nnen.<\/p>\n So konnten wir die optimalen Verk\u00e4ufe vorhersagen und vermeiden, dass unser Algorithmus Knappheitsmuster lernt.<\/p>\n Unsere Modelle<\/strong><\/span><\/p>\n Nachdem wir unser data gr\u00fcndlich gereinigt haben, k\u00f6nnen wir endlich ein paar Modelle testen und ausprobieren.<\/p>\n Sie haben viele verschiedene M\u00f6glichkeiten, ein Prognoseproblem anzugehen: klassische statistische Ans\u00e4tze (SARIMA, Exponential Smoothing, Prophet usw.), Ans\u00e4tze des maschinellen Lernens (lineare Regression, Boosting-Algorithmen) oder Deep Learning (RNN, LSTM, CNN). Die Wahl des richtigen Ansatzes ist eine knifflige Frage. Hier sind einige Elemente, die uns bei der Auswahl geholfen haben:<\/p>\n Aus diesen Gr\u00fcnden haben wir uns f\u00fcr Catboost als Modell entschieden. Catboost hat viele Vorteile, wie z.B. die native Verarbeitung von kategorischen und fehlenden Werten, die Verarbeitung vieler Merkmale, die gute Skalierung und die Ableitung vieler Zeitreihen innerhalb desselben Modells. Au\u00dferdem bietet es eine sch\u00f6ne Darstellung w\u00e4hrend des Trainings und l\u00e4sst sich sehr leicht mit\u00a0SHAP<\/em>\u00a0f\u00fcr die Bedeutung des Merkmals.<\/p>\n Hier zum Beispiel ein Screenshot der interaktiven Darstellung des Algorithmus w\u00e4hrend seines Trainings:<\/p>\n Einer der Nachteile der reinen ML-Ans\u00e4tze ist jedoch die Notwendigkeit, alle Merkmale selbst zu kodieren, insbesondere die zeitlichen. Ohne ein starkes Feature-Engineering sind diese Algorithmen nicht in der Lage, die Zeitmuster zu erkennen. Au\u00dferdem k\u00f6nnen sie nur einen festen Zeitrahmen ableiten, im Gegensatz zu Sarima oder Prophet, bei denen Sie die Anzahl der zu prognostizierenden Tage \u00fcber den Parameter Perioden festlegen k\u00f6nnen.<\/p>\n Schlie\u00dflich m\u00fcssen Sie sehr vorsichtig mit data Leckagen sein, besonders wenn Sie Ihr Lag-Feature bauen.<\/p>\n Eines der wichtigsten Merkmale war nicht die w\u00f6chentliche Verz\u00f6gerung, sondern der Durchschnitt der Verz\u00f6gerungen: D-7, D-14, D-21, ... usw. die letzten sechs Wochen. Die unregelm\u00e4\u00dfige Charakteristik unserer Zeitreihen in Verbindung mit dem Einsatz von Werbeaktionen von Zeit zu Zeit f\u00fchrt zu einer unscharfen Saisonalit\u00e4t, daher die Verwendung eines Durchschnitts. Es ist wichtig zu wissen, dass die Verwendung dieses Durchschnitts als einziges Modell bereits eine sehr gute Leistung erbringt!<\/p>\n Ein Modell gegen viele Modelle<\/strong><\/span><\/p>\n Zusammenfassend haben wir einen Algorithmus verwendet: Catboost, um alle unsere 10 000 Zeitreihen f\u00fcr jedes Produkt und jedes Gesch\u00e4ft vorherzusagen. Aber was ist, wenn ein Artikel ein ganz bestimmtes Verkaufsmuster oder eine bestimmte Filiale hat? W\u00fcrde der Algorithmus dieses Muster erkennen und lernen?<\/p>\n Diese Fragen f\u00fchren uns zu der Frage, ob wir unsere Produkte und Gesch\u00e4fte clustern und einen Algorithmus pro Cluster trainieren sollten. Auch wenn die Verwendung von Entscheidungsbaum-Algorithmen diese Herausforderung bew\u00e4ltigen sollte, haben wir in einigen spezifischen F\u00e4llen Einschr\u00e4nkungen festgestellt.<\/p>\n Boosting-Algorithmen sind iterative Algorithmen, die auf schwachen Lernern basieren, die sich auf ihre gr\u00f6\u00dften Fehler konzentrieren werden. Das ist nat\u00fcrlich etwas zu vereinfacht, aber es hilft mir, auf eine ihrer Einschr\u00e4nkungen hinzuweisen. Wenn Sie Ihre Zielvariable nicht normalisiert haben, wird sich Ihr Algorithmus \u201cnur\u201d auf die Produkte mit den gr\u00f6\u00dften Fehlern konzentrieren, die mit gr\u00f6\u00dferer Wahrscheinlichkeit auch die umsatzst\u00e4rksten sind. Infolgedessen konzentriert sich der Algorithmus m\u00f6glicherweise mehr auf die Produkte oder Gesch\u00e4fte mit dem gr\u00f6\u00dften Umsatzvolumen.<\/p>\n Wir haben keine perfekte L\u00f6sung f\u00fcr dieses Problem gefunden, aber wir konnten einige Verbesserungen feststellen, indem wir unsere Produkte\/L\u00e4den nach Familie oder Verkaufsfrequenz gruppiert haben.<\/p>\n Einer der Vorteile des Trainings mehrerer Algorithmen sind:<\/p>\n Auf der anderen Seite wird es aber auch schwieriger sein, sie zu pflegen!<\/p>\n Schlie\u00dflich entschieden wir uns f\u00fcr diesen Ansatz, da er bessere Ergebnisse brachte.<\/p>\n<\/div><\/div><\/div><\/div><\/div> Wie k\u00f6nnen Sie unser Modell bewerten?<\/strong><\/span><\/p>\n In den vorangegangenen Abschnitten haben wir viele Modelle und ihre Leistungen besprochen. Aber wie bewertet man einen Prognosealgorithmus? Offensichtlich ist es \u00e4hnlich wie bei allen Problemen des maschinellen Lernens, aber dennoch hat es seine eigenen Besonderheiten:<\/p>\n Wie bereits erw\u00e4hnt, besteht eine der Herausforderungen bei der Prognose von Zeitreihen darin, data-Lecks zu vermeiden. Das kann bei der Erstellung unserer Merkmale passieren: Lags, Normalisierung unserer Variablen usw...<\/p>\n Es kann aber auch bei der Kreuzvalidierung passieren, wenn Sie die data-Sets f\u00fcr Training, Validierung und Test aufteilen.<\/p>\n Sie k\u00f6nnen nicht die klassische\u00a0train_test_split()<\/em>\u00a0von sklearn. Warum? Stellen Sie sich vor, Ihr data-Set sind die Verk\u00e4ufe von 2019. Wenn Sie zuf\u00e4llig aufteilen, trainieren Sie auf data von Januar, Februar, ..., Dezember 2019 und Ihr Test data hat Verk\u00e4ufe von denselben Daten! Infolgedessen wird Ihr Algorithmus mit Mustern trainieren, die er in der Produktion nicht haben wird, was zu einem data Leckproblem f\u00fchrt. Um dieses Problem zu l\u00f6sen, gibt es andere M\u00f6glichkeiten, Ihre data aufzuteilen, z.B. die Funktion TimeSeriesSplit()<\/em>\u00a0auch von sklearn.<\/p>\n 2. Die Wahl der Metrik:<\/p>\n Bei der Zeitreihenprognose handelt es sich um ein Regressionsproblem. Daher k\u00f6nnen wir die klassischen Metriken wie MSE, RMSE verwenden, aber es gibt auch noch andere, hier eine nicht ersch\u00f6pfende Liste:<\/p>\n Wir haben unseren Algorithmus anhand des RMSE optimiert, aber zur Kommunikation mit unseren Gesch\u00e4ftsinhabern eine gewichtete Prognosegenauigkeit verwendet:<\/p>\n Wir haben ihn zun\u00e4chst auf Tages-\/Filialebene berechnet und ihn dann nach Filiale anhand eines gewichteten Durchschnitts aggregiert, wobei die Gewichtung den Tagesums\u00e4tzen der verschiedenen Filialen entspricht. Diese Kennzahl kann nat\u00fcrlich in Frage gestellt werden, aber sie hat den Vorteil, dass sie einen Wert f\u00fcr jede Filiale hat und dass sie nicht \u00fcbersch\u00e4tzt wird, wenn der Manager an einem Tag wirklich \u00fcberdurchschnittliche Leistungen erbringt (ob schlecht oder gut). Au\u00dferdem ist FA eine wirklich interpretierbare Kennzahl, die im Gegensatz zum RMSE etwas \u00fcber das Gesch\u00e4ft aussagt.<\/p>\n Eine weitere interessante Metrik, die Sie im Auge behalten sollten, ist der Biais, der die allgemeine Tendenz des Algorithmus zur \u00dcber- oder Unterprognose angibt. Je nach Gesch\u00e4ftsvorfall k\u00f6nnen Sie das eine oder das andere vorziehen. In unserem Fall haben wir eine leicht \u00fcberh\u00f6hte Vorhersage getroffen, um sicher zu gehen, dass das Produkt im Regal steht und unsere Kunden zufrieden sind!<\/p>\n Abschlie\u00dfende Worte, einige Ratschl\u00e4ge f\u00fcr alle data-Projekte<\/strong><\/span><\/p>\n Ich dachte, es w\u00e4re auch sch\u00f6n, mit Ihnen einige Tipps und Fehler zu teilen, die wir auf Projektebene machen.<\/p>\n Zun\u00e4chst einmal, wie haben wir unsere Modelle entwickelt, Feature Engineering?<\/p>\n All diese verschiedenen Schritte und Experimente wurden in Notizb\u00fcchern durchgef\u00fchrt, aber die Verwendung von Notizb\u00fcchern bedeutet nicht, dass der Code unsauber ist! Im Gegenteil, wir empfehlen Ihnen dringend, sich die Zeit zu nehmen, ordentliche Notizb\u00fccher mit Titeln, Eigennamen und Funktionen zu schreiben und \u00fcberfl\u00fcssige Zeilen zu faktorisieren.<\/p>\n Die Verwendung von Notebooks bringt einige Herausforderungen mit sich, vor allem wenn viele Entwickler zusammenarbeiten: Konflikte auf Github, kein replizierbarer Code usw...<\/p>\n Hier sind einige Tipps, um diese Probleme zu verringern:<\/p>\n Wichtigste Erkenntnisse<\/strong><\/span><\/p>\n Wir h\u00e4tten unsere Ergebnisse gerne mit Ihnen geteilt, aber aus Gr\u00fcnden des Datenschutzes durften wir das nicht, aber wir k\u00f6nnen sagen, dass wir mit dieser Methodik in der Lage waren:<\/p>\n Aber auf der anderen Seite, hier die Liste unserer wichtigsten Erkenntnisse, die Ihnen hoffentlich helfen, Ihre eigene L\u00f6sung zu entwickeln:<\/p>\n\n
\n
![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2020\/11\/0_tmryqg1LTyu3u_b8.jpeg\")
<\/p>\n\n
\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/01TAXEHqr9CLKkcfH.png\")
<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/figure>\n\n
\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/0IHYfQrWymxriIbmh.png\")
<\/p>\n<\/div>\n\n
\n
\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/1TMosktPGqo5c6MG4bQVw8g.png\")
<\/p>\n<\/div>\n\n
\n
\n
![](\"https:\/\/www.artefact.com\/wp-content\/uploads\/2020\/06\/Global-Newsletter-Data-Digest_LinkedIn_600x315_april.jpg\" "\\"data-driven\\"")
<\/span><\/div><\/div><\/div>