![\"Image\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2023\/07\/Youssef-Oudghiri.jpeg\")
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/04\/Medium-Blog.png\" "\\"Mittel")
<\/span><\/div>Einf\u00fchrung<\/h2><\/div>Die Motivation f\u00fcr diese Arbeit ergab sich aus zahlreichen Kundenprognoseprojekten bei Artefact, bei denen unsere Boosting-Modelle zum Zeitpunkt der Vorhersage eine hohe Verzerrung aufwiesen. In einer Diagnosephase haben wir festgestellt, dass eine der Hauptursachen f\u00fcr die Verzerrung von Ensemble-Learning-Modellen darin liegt, dass es schwierig ist, Trends und schwankende Werte genau zu modellieren.<\/p>\n
Im Folgenden werden wir demonstrieren\u00a0warum<\/strong>\u00a0und\u00a0wie<\/strong>\u00a0haben wir einen neuen Ansatz f\u00fcr die Kodierung kategorischer Merkmale verwendet. Anhand unserer Experimente mit einem Kundenprojekt f\u00fcr Einzelhandelsprognosen und verschiedenen \u00f6ffentlichen data-Sets konnten wir nachweisen, dass diese Technik Verzerrungen wirksam abmildern und die Genauigkeit verbessern kann.<\/p>\n<\/div>Boosting und Trends, warum ist das so kompliziert?<\/h2><\/div>Boosting-Algorithmen haben es schwer, zu extrapolieren<\/h3><\/div>Boosting-Algorithmen haben es schwer, Trends zu modellieren und zu extrapolieren, da sie keine neuen Werte vorhersagen k\u00f6nnen, die im Trainingsset nicht vorkommen bzw. in den Bl\u00e4ttern nicht vorhanden sind. \u201cLinearer Baum<\/a>\u201dModelle versuchen, dieses Problem zu lindern, aber unsere Tests ergaben keine eindeutigen Ergebnisse mit dieser Methode.<\/p>\n<\/div>Klassische Kodierungen dr\u00e4ngen zu statischen Vorhersagen<\/h3><\/div>Die g\u00e4ngigsten Kodierungsmethoden, die beim Boosten verwendet werden, f\u00f6rdern statische Beziehungen zwischen unabh\u00e4ngigen und abh\u00e4ngigen Variablen, was wiederum zu einer erh\u00f6hten Verzerrung bei Vorhandensein von Trends beitr\u00e4gt. Das folgende Diagramm veranschaulicht dieses Ph\u00e4nomen:<\/p>\n<\/div>
![\"Classical](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2023\/07\/Classical-encodings-push-towards-static-predictions.webp\" "\\"Klassische")
<\/span><\/div>Vereinfachte visuelle Darstellung, die die statische Natur der kategorialen Merkmalskodierung in Boosting-Algorithmen verdeutlicht<\/em><\/p>\n<\/div>Wir r\u00e4umen ein, dass die obige Darstellung eine zu starke Vereinfachung ist, denn Entscheidungsb\u00e4ume sind komplexer und in der Lage, nichtlineare Beziehungen auf der Grundlage mehrerer Faktoren zu erkennen. In der Tat k\u00f6nnte die Bedingung \u201cFarbe ist schwarz\u201d mit \u201cder Monat ist Juni\u201d verbunden sein. In diesem Fall h\u00e4tte die Farbe Schwarz nicht zu jeder Zeit die gleiche Auswirkung. Aber lassen Sie uns einen Blick auf das gro\u00dfe Ganze werfen:<\/p>\n<\/div>
- <\/i><\/span>\n
Die Zuweisung einer einzigen Auswirkung f\u00fcr die Farbe Schwarz im Juni ist immer noch nicht ideal, da die Auswirkung im Juni 2021 von der Auswirkung im Juni 2022 abweichen kann. Selbst wenn wir das Jahr mit einbeziehen, w\u00fcrde erstens die Entscheidungsgrenze zu komplex werden, um sie zu erstellen und zu identifizieren, aber auch, was w\u00fcrde passieren, wenn die Ausbildung data im Jahr 2022 endet und Vorhersagen f\u00fcr 2023 gemacht werden m\u00fcssen?<\/p>\n<\/div><\/li>
- <\/i><\/span>\n
Feature-Engineering soll das Modell dabei unterst\u00fctzen, Beziehungen leichter zu erkennen<\/strong>. Wenn wir dem Modell dabei helfen k\u00f6nnen, die Auswirkung der Farbe Schwarz zu einem beliebigen Zeitpunkt zu assoziieren, ohne dass die Identifizierung komplexer Beziehungen erforderlich ist, w\u00e4re dies f\u00fcr das Modell von gro\u00dfem Vorteil. Daher ...<\/p>\n<\/div><\/li><\/ul>Unser neuer Ansatz: Dynamische Kodierung von kategorischen Merkmalen<\/h2><\/div>Basis der dynamischen Kodierung (v1 ohne Elementebene)<\/h3><\/div>In einem Satz k\u00f6nnte man unsere Methode zur Kodierung kategorischer Merkmale folgenderma\u00dfen beschreiben:\u00a0modellieren wir die Trendkomponente jeder Kategorie und verwenden diese Trendwerte, um das kategoriale Merkmal zu kodieren<\/strong>.<\/p>\nDas folgende Diagramm veranschaulicht den Unterschied zwischen einer statischen Mittelwertkodierung und einer trendbasierten Kodierung f\u00fcr zwei Farbkategorien: Schwarz und Gold.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2023\/07\/Basis-of-dynamic-encoding-v1-without-item-level.webp\" "\\"Basis")
<\/span><\/div>Illustration des dynamischen Kodierungsprinzips, das eine Trendmodellierung f\u00fcr jede Kategorie beinhaltet<\/em><\/p>\n<\/div>In unseren Experimenten haben wir uns daf\u00fcr entschieden, Prophet f\u00fcr die Extraktion der Trendkomponente zu verwenden. Nat\u00fcrlich k\u00f6nnen Sie auch andere Zeitreihenprognosemodelle in Betracht ziehen.<\/p>\n
Beachten Sie, dass die statische Mittelwertkodierung impliziert, dass die Verk\u00e4ufe schwarzer Artikel zu jedem Zeitpunkt durchschnittlich 100 St\u00fcck\/Monat betragen. Die dynamische Kodierung hingegen erlaubt es, den steigenden Trend bei den schwarzen Gegenst\u00e4nden zu ber\u00fccksichtigen und ihn in die Zukunft zu extrapolieren. Eine \u00e4hnliche Aussage kann f\u00fcr Goldgegenst\u00e4nde gemacht werden. Unser Ansatz ist also besonders n\u00fctzlich bei data-Sets, bei denen die zu prognostizierende Zielvariable steile Trends \u00fcber die verschiedenen verf\u00fcgbaren Kategorien hinweg aufweist.<\/p>\n
Unser Hauptaugenmerk liegt darauf, das Modell in die Lage zu versetzen, sich leichter an die sich \u00e4ndernden Beziehungen zwischen unabh\u00e4ngigen Variablen und der zu prognostizierenden abh\u00e4ngigen Variable anzupassen. Daher k\u00f6nnte diese dynamische Kodierungsmethode auch auf numerische Merkmale angewendet werden. Nehmen wir das Beispiel des Preises. Obwohl der Preis numerisch ist und das Modell direkt darauf basierende Regeln aufstellen kann, k\u00f6nnen sich die Vorlieben der Menschen f\u00fcr preiswerte oder teure Artikel im Laufe der Zeit dennoch entwickeln und einem bestimmten Verkaufstrend folgen. Im Zusammenhang mit einer Wirtschaftskrise k\u00f6nnten zum Beispiel g\u00fcnstige Produkte einem steigenden Verkaufstrend folgen, w\u00e4hrend teure Produkte einem fallenden Trend folgen k\u00f6nnten. Wenn wir \u2018erschwinglich\u2019 als eine Kategorie und \u2018teuer\u2019 als eine andere betrachten, k\u00f6nnten wir eine dynamische Kodierung f\u00fcr das Merkmal Preis vorschlagen, so wie wir es f\u00fcr Farben getan haben.<\/p>\n
Es ist wichtig zu beachten, dass bei numerischen Merkmalen sowohl die Basisvariablen als auch die dynamisch kodierten Variablen im Modell verwendet werden k\u00f6nnen, da sie unterschiedliche Arten von Informationen liefern werden.<\/p>\n<\/div>
Dynamischen Merkmalen wird mehr Bedeutung beigemessen (v2 mit Elementebene)<\/h3><\/div>Auch wenn diese neue Kodierungsmethode eine Verbesserung darstellt, ist die Bedeutung der kategorischen Merkmale oft nicht hoch genug, um die Vorhersagen bei der Untersuchung der Merkmalsbedeutung signifikant zu beeinflussen. Um den dynamischen Merkmalen mehr Bedeutung zu verleihen und damit eine bessere Modellierung und Extrapolation von Trends zu f\u00f6rdern, passen wir die Kodierungswerte f\u00fcr jede Zeitreihe \/ jedes Element einzeln an.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2023\/07\/Giving-more-importance-to-dynamic-features-v2-with-item-level.webp\" "\\"Dynamischen")
<\/span><\/div>Formel f\u00fcr die beiden Komponenten der dynamischen Kodierung: Kategorieebene und Elementebene<\/em><\/p>\n<\/div>Um auf unser Farbbeispiel zur\u00fcckzukommen: Bei zwei verschiedenen schwarzen Artikeln kann die dynamische Kodierung der Kategorie \u201cSchwarz\u201d f\u00fcr jeden Artikel auf der Grundlage seiner individuellen fr\u00fcheren Verk\u00e4ufe unterschiedlich sein.<\/p>\n<\/div>
![\"Table](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2023\/07\/Table-illustrating-the-calculation-of-dynamic-encoding-through-a-simple-example.webp\" "\\"Tabelle")
<\/span><\/div>Tabelle zur Veranschaulichung der Berechnung der dynamischen Kodierung anhand eines einfachen Beispiels<\/em><\/p>\n<\/div>Experimente und Ergebnisse<\/h2><\/div>Kunde dataset<\/h3><\/div>Wir haben unseren Ansatz zur Umsatzprognose f\u00fcr einen unserer Kunden aus der Einzelhandelsbranche verwendet. Wir haben unsere Methode in einem breiten Spektrum von Bereichen gr\u00fcndlich validiert, um ihre Effektivit\u00e4t sicherzustellen. Hier sind einige data-Punkte zum experimentellen Kontext:<\/p>\n<\/div>
- <\/i><\/span>Die Experimente wurden f\u00fcr 9 verschiedene Produktbereiche durchgef\u00fchrt, mit einem Boosting-Modell (LightGBM) f\u00fcr jeden Bereich.<\/div><\/li>
- <\/i><\/span>\n
F\u00fcr jeden Bereich wurde eine k-fache Kreuzvalidierung mit einem expandierenden Fenster durchgef\u00fchrt (k=5).<\/p>\n<\/div><\/li>
- <\/i><\/span>\n
Vorhersagehorizont: Tag+1 bis Tag+180.<\/p>\n<\/div><\/li>
- <\/i><\/span>\n
Die Leistung wurde anhand von zwei Metriken bewertet:<\/p>\n<\/div><\/li><\/ul>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2023\/07\/formule.webp\" "\\"formule\\"")
<\/span><\/div>Insgesamt erwies sich die Methode als sehr effizient,\u00a0was zu einer durchschnittlichen absoluten Verringerung der Verzerrung von 9,82% und einer durchschnittlichen absoluten Erh\u00f6hung der Vorhersagegenauigkeit von 6,29% f\u00fchrt.<\/strong>\u00a0\u00fcber die 9 Produktbereiche und 5 Kreuzvalidierungsfalten.<\/p>\nIm n\u00e4chsten Abschnitt \u00fcberpr\u00fcfen wir die Relevanz unserer Methode, indem wir sie an einem \u00f6ffentlichen dataset testen.<\/p>\n<\/div>
Verkauf in \u00f6ffentlichen Gesch\u00e4ften dataset<\/h3><\/div>In dieser vereinfachten Fallstudie verwenden wir die\u00a0Ladenverkauf - Zeitreihenprognose<\/a>\u00a0Kaggle dataset. Dieses dataset weist einen steilen Trend auf, wenn man die durchschnittliche Umsatzzeitreihe betrachtet, was unsere Methode besonders relevant macht. Au\u00dferdem betr\u00e4gt der gew\u00e4hlte Prognosehorizont drei Monate, was weit genug entfernt ist, um von den zus\u00e4tzlichen Extrapolationsf\u00e4higkeiten der dynamischen Kodierung zu profitieren. Zu Demonstrationszwecken beschr\u00e4nken wir das dataset auf den 31. M\u00e4rz 2016, kurz bevor ein Erdbeben auftrat und die Umsatzkurve abflachte.<\/p>\nVor der Kodierung umfasst unser anf\u00e4ngliches data-Set etwa 75% numerische Merkmale, darunter Lags, rollierende Mittelwerte, Kalendermerkmale und Feiertagsereignisse. Die restlichen 25% bestehen aus kategorischen Attributen wie Produktfamilie, Gesch\u00e4ftsnummer, Stadt und anderen.<\/p>\n
Es werden zwei verschiedene Modelle trainiert: Eines verwendet die kategorischen Merkmale, die mit unserer benutzerdefinierten Methode dynamisch kodiert wurden, w\u00e4hrend das andere die native Handhabung kategorischer Merkmale durch LightGBM nutzt.<\/p>\n
Beim Vergleich ihrer Leistung stellen wir eine deutliche Verbesserung des dynamischen Kodierungsansatzes fest. Die folgende Tabelle enth\u00e4lt eine Zusammenfassung der Ergebnisse:<\/p>\n<\/div>
![\"Comparison](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2023\/07\/image-1.webp\" "\\"Bild")
<\/span><\/div>Vergleich von RMSE, FA und %Bias zwischen LightGBM-Kodierungsmethode und dynamischer Kodierung<\/em><\/p>\n<\/div>![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2023\/07\/image2.webp\" "\\"image2\\"")
<\/span><\/div>Durchschnittlicher w\u00f6chentlicher Umsatz + 3-Monats-Prognosen (dynamische Kodierung vs. LightGBM-Kodierungsmethode)
\n<\/em><\/p>\n<\/div>Wie in der obigen Grafik dargestellt, beinhaltet das Modell dynamische Kodierungen\u00a0f\u00e4ngt den Trend effektiv ein und extrapoliert ihn<\/strong>, w\u00e4hrend das alternative Modell Schwierigkeiten hat, dies zu erreichen.<\/p>\n<\/div>Nutzung und Grenzen<\/h2><\/div>Unsere Methode erweist sich als besonders wertvoll in Szenarien, in denen die Zeitreihe\u00a0ausgepr\u00e4gte Trends<\/strong>\u00a0und die\u00a0Vorhersagehorizont<\/strong> ist weit genug entfernt, um von der Trendextrapolation zu profitieren. Da wir au\u00dferdem dynamisch kodieren und einbeziehen\u00a0mehr kategorische Merkmale<\/strong>\u00a0mit\u00a0signifikant pr\u00e4diktiv<\/strong> Strom<\/strong>\u00a0in das Modell ein,\u00a0der durch unseren Ansatz erzielte Effekt auf Vorhersagen steigt<\/strong>. Es ist jedoch wichtig anzuerkennen, dass andere Kodierungsmethoden ihre eigenen Vorteile haben und in verschiedenen Kontexten vorteilhafter sein k\u00f6nnen. Au\u00dferdem besteht die M\u00f6glichkeit, beide Kodierungsarten zu kombinieren, um m\u00f6glicherweise bessere Ergebnisse zu erzielen.<\/p>\n<\/div>Fazit<\/h2><\/div>- <\/i><\/span>Herk\u00f6mmliche Kodierungstechniken f\u00fcr kategoriale Merkmale sind f\u00fcr Prognosen nicht ideal, insbesondere wenn Zeitreihen steile Trends aufweisen und der Prognosehorizont weit entfernt ist.<\/div><\/li>
- <\/i><\/span>\n
Unsere Methode ist eine Abwandlung des Modellstapelns, denn wir verwenden ein Prophet-Modell - das sich durch \u00fcberlegene F\u00e4higkeiten bei der Modellierung und Extrapolation von Trends auszeichnet - um die Kodierung der kategorialen Merkmale zu konstruieren.<\/p>\n<\/div><\/li>
- <\/i><\/span>\n
Unsere Experimente haben die Vorteile der Reduzierung von Verzerrungen und der Verbesserung der Vorhersagegenauigkeit gezeigt.<\/p>\n<\/div><\/li><\/ul>
Wir haben vor, in den kommenden Monaten ein Papier zu ver\u00f6ffentlichen, das alle Einzelheiten unseres Ansatzes und der Umsetzung enthalten wird. Bleiben Sie dran<\/a> f\u00fcr weitere Updates!<\/p>\n<\/div><\/div><\/div><\/div><\/article>
Die Motivation f\u00fcr diese Arbeit ergab sich aus zahlreichen Kundenprognoseprojekten bei Artefact, bei denen unsere Boosting-Modelle zum Zeitpunkt der Vorhersage eine hohe Verzerrung aufwiesen. In einer Diagnosephase haben wir festgestellt, dass eine der Hauptursachen f\u00fcr die Verzerrung von Ensemble-Learning-Modellen darin liegt, dass es schwierig ist, Trends und schwankende Werte genau zu modellieren.<\/p>\n
Im Folgenden werden wir demonstrieren\u00a0warum<\/strong>\u00a0und\u00a0wie<\/strong>\u00a0haben wir einen neuen Ansatz f\u00fcr die Kodierung kategorischer Merkmale verwendet. Anhand unserer Experimente mit einem Kundenprojekt f\u00fcr Einzelhandelsprognosen und verschiedenen \u00f6ffentlichen data-Sets konnten wir nachweisen, dass diese Technik Verzerrungen wirksam abmildern und die Genauigkeit verbessern kann.<\/p>\n<\/div> Boosting-Algorithmen haben es schwer, Trends zu modellieren und zu extrapolieren, da sie keine neuen Werte vorhersagen k\u00f6nnen, die im Trainingsset nicht vorkommen bzw. in den Bl\u00e4ttern nicht vorhanden sind. \u201cLinearer Baum<\/a>\u201dModelle versuchen, dieses Problem zu lindern, aber unsere Tests ergaben keine eindeutigen Ergebnisse mit dieser Methode.<\/p>\n<\/div> Die g\u00e4ngigsten Kodierungsmethoden, die beim Boosten verwendet werden, f\u00f6rdern statische Beziehungen zwischen unabh\u00e4ngigen und abh\u00e4ngigen Variablen, was wiederum zu einer erh\u00f6hten Verzerrung bei Vorhandensein von Trends beitr\u00e4gt. Das folgende Diagramm veranschaulicht dieses Ph\u00e4nomen:<\/p>\n<\/div> Vereinfachte visuelle Darstellung, die die statische Natur der kategorialen Merkmalskodierung in Boosting-Algorithmen verdeutlicht<\/em><\/p>\n<\/div> Wir r\u00e4umen ein, dass die obige Darstellung eine zu starke Vereinfachung ist, denn Entscheidungsb\u00e4ume sind komplexer und in der Lage, nichtlineare Beziehungen auf der Grundlage mehrerer Faktoren zu erkennen. In der Tat k\u00f6nnte die Bedingung \u201cFarbe ist schwarz\u201d mit \u201cder Monat ist Juni\u201d verbunden sein. In diesem Fall h\u00e4tte die Farbe Schwarz nicht zu jeder Zeit die gleiche Auswirkung. Aber lassen Sie uns einen Blick auf das gro\u00dfe Ganze werfen:<\/p>\n<\/div> Die Zuweisung einer einzigen Auswirkung f\u00fcr die Farbe Schwarz im Juni ist immer noch nicht ideal, da die Auswirkung im Juni 2021 von der Auswirkung im Juni 2022 abweichen kann. Selbst wenn wir das Jahr mit einbeziehen, w\u00fcrde erstens die Entscheidungsgrenze zu komplex werden, um sie zu erstellen und zu identifizieren, aber auch, was w\u00fcrde passieren, wenn die Ausbildung data im Jahr 2022 endet und Vorhersagen f\u00fcr 2023 gemacht werden m\u00fcssen?<\/p>\n<\/div><\/li> Feature-Engineering soll das Modell dabei unterst\u00fctzen, Beziehungen leichter zu erkennen<\/strong>. Wenn wir dem Modell dabei helfen k\u00f6nnen, die Auswirkung der Farbe Schwarz zu einem beliebigen Zeitpunkt zu assoziieren, ohne dass die Identifizierung komplexer Beziehungen erforderlich ist, w\u00e4re dies f\u00fcr das Modell von gro\u00dfem Vorteil. Daher ...<\/p>\n<\/div><\/li><\/ul> In einem Satz k\u00f6nnte man unsere Methode zur Kodierung kategorischer Merkmale folgenderma\u00dfen beschreiben:\u00a0modellieren wir die Trendkomponente jeder Kategorie und verwenden diese Trendwerte, um das kategoriale Merkmal zu kodieren<\/strong>.<\/p>\n Das folgende Diagramm veranschaulicht den Unterschied zwischen einer statischen Mittelwertkodierung und einer trendbasierten Kodierung f\u00fcr zwei Farbkategorien: Schwarz und Gold.<\/p>\n<\/div> Illustration des dynamischen Kodierungsprinzips, das eine Trendmodellierung f\u00fcr jede Kategorie beinhaltet<\/em><\/p>\n<\/div> In unseren Experimenten haben wir uns daf\u00fcr entschieden, Prophet f\u00fcr die Extraktion der Trendkomponente zu verwenden. Nat\u00fcrlich k\u00f6nnen Sie auch andere Zeitreihenprognosemodelle in Betracht ziehen.<\/p>\n Beachten Sie, dass die statische Mittelwertkodierung impliziert, dass die Verk\u00e4ufe schwarzer Artikel zu jedem Zeitpunkt durchschnittlich 100 St\u00fcck\/Monat betragen. Die dynamische Kodierung hingegen erlaubt es, den steigenden Trend bei den schwarzen Gegenst\u00e4nden zu ber\u00fccksichtigen und ihn in die Zukunft zu extrapolieren. Eine \u00e4hnliche Aussage kann f\u00fcr Goldgegenst\u00e4nde gemacht werden. Unser Ansatz ist also besonders n\u00fctzlich bei data-Sets, bei denen die zu prognostizierende Zielvariable steile Trends \u00fcber die verschiedenen verf\u00fcgbaren Kategorien hinweg aufweist.<\/p>\n Unser Hauptaugenmerk liegt darauf, das Modell in die Lage zu versetzen, sich leichter an die sich \u00e4ndernden Beziehungen zwischen unabh\u00e4ngigen Variablen und der zu prognostizierenden abh\u00e4ngigen Variable anzupassen. Daher k\u00f6nnte diese dynamische Kodierungsmethode auch auf numerische Merkmale angewendet werden. Nehmen wir das Beispiel des Preises. Obwohl der Preis numerisch ist und das Modell direkt darauf basierende Regeln aufstellen kann, k\u00f6nnen sich die Vorlieben der Menschen f\u00fcr preiswerte oder teure Artikel im Laufe der Zeit dennoch entwickeln und einem bestimmten Verkaufstrend folgen. Im Zusammenhang mit einer Wirtschaftskrise k\u00f6nnten zum Beispiel g\u00fcnstige Produkte einem steigenden Verkaufstrend folgen, w\u00e4hrend teure Produkte einem fallenden Trend folgen k\u00f6nnten. Wenn wir \u2018erschwinglich\u2019 als eine Kategorie und \u2018teuer\u2019 als eine andere betrachten, k\u00f6nnten wir eine dynamische Kodierung f\u00fcr das Merkmal Preis vorschlagen, so wie wir es f\u00fcr Farben getan haben.<\/p>\n Es ist wichtig zu beachten, dass bei numerischen Merkmalen sowohl die Basisvariablen als auch die dynamisch kodierten Variablen im Modell verwendet werden k\u00f6nnen, da sie unterschiedliche Arten von Informationen liefern werden.<\/p>\n<\/div> Auch wenn diese neue Kodierungsmethode eine Verbesserung darstellt, ist die Bedeutung der kategorischen Merkmale oft nicht hoch genug, um die Vorhersagen bei der Untersuchung der Merkmalsbedeutung signifikant zu beeinflussen. Um den dynamischen Merkmalen mehr Bedeutung zu verleihen und damit eine bessere Modellierung und Extrapolation von Trends zu f\u00f6rdern, passen wir die Kodierungswerte f\u00fcr jede Zeitreihe \/ jedes Element einzeln an.<\/p>\n<\/div> Formel f\u00fcr die beiden Komponenten der dynamischen Kodierung: Kategorieebene und Elementebene<\/em><\/p>\n<\/div> Um auf unser Farbbeispiel zur\u00fcckzukommen: Bei zwei verschiedenen schwarzen Artikeln kann die dynamische Kodierung der Kategorie \u201cSchwarz\u201d f\u00fcr jeden Artikel auf der Grundlage seiner individuellen fr\u00fcheren Verk\u00e4ufe unterschiedlich sein.<\/p>\n<\/div> Tabelle zur Veranschaulichung der Berechnung der dynamischen Kodierung anhand eines einfachen Beispiels<\/em><\/p>\n<\/div> Wir haben unseren Ansatz zur Umsatzprognose f\u00fcr einen unserer Kunden aus der Einzelhandelsbranche verwendet. Wir haben unsere Methode in einem breiten Spektrum von Bereichen gr\u00fcndlich validiert, um ihre Effektivit\u00e4t sicherzustellen. Hier sind einige data-Punkte zum experimentellen Kontext:<\/p>\n<\/div> F\u00fcr jeden Bereich wurde eine k-fache Kreuzvalidierung mit einem expandierenden Fenster durchgef\u00fchrt (k=5).<\/p>\n<\/div><\/li> Vorhersagehorizont: Tag+1 bis Tag+180.<\/p>\n<\/div><\/li> Die Leistung wurde anhand von zwei Metriken bewertet:<\/p>\n<\/div><\/li><\/ul> Insgesamt erwies sich die Methode als sehr effizient,\u00a0was zu einer durchschnittlichen absoluten Verringerung der Verzerrung von 9,82% und einer durchschnittlichen absoluten Erh\u00f6hung der Vorhersagegenauigkeit von 6,29% f\u00fchrt.<\/strong>\u00a0\u00fcber die 9 Produktbereiche und 5 Kreuzvalidierungsfalten.<\/p>\n Im n\u00e4chsten Abschnitt \u00fcberpr\u00fcfen wir die Relevanz unserer Methode, indem wir sie an einem \u00f6ffentlichen dataset testen.<\/p>\n<\/div> In dieser vereinfachten Fallstudie verwenden wir die\u00a0Ladenverkauf - Zeitreihenprognose<\/a>\u00a0Kaggle dataset. Dieses dataset weist einen steilen Trend auf, wenn man die durchschnittliche Umsatzzeitreihe betrachtet, was unsere Methode besonders relevant macht. Au\u00dferdem betr\u00e4gt der gew\u00e4hlte Prognosehorizont drei Monate, was weit genug entfernt ist, um von den zus\u00e4tzlichen Extrapolationsf\u00e4higkeiten der dynamischen Kodierung zu profitieren. Zu Demonstrationszwecken beschr\u00e4nken wir das dataset auf den 31. M\u00e4rz 2016, kurz bevor ein Erdbeben auftrat und die Umsatzkurve abflachte.<\/p>\n Vor der Kodierung umfasst unser anf\u00e4ngliches data-Set etwa 75% numerische Merkmale, darunter Lags, rollierende Mittelwerte, Kalendermerkmale und Feiertagsereignisse. Die restlichen 25% bestehen aus kategorischen Attributen wie Produktfamilie, Gesch\u00e4ftsnummer, Stadt und anderen.<\/p>\n Es werden zwei verschiedene Modelle trainiert: Eines verwendet die kategorischen Merkmale, die mit unserer benutzerdefinierten Methode dynamisch kodiert wurden, w\u00e4hrend das andere die native Handhabung kategorischer Merkmale durch LightGBM nutzt.<\/p>\n Beim Vergleich ihrer Leistung stellen wir eine deutliche Verbesserung des dynamischen Kodierungsansatzes fest. Die folgende Tabelle enth\u00e4lt eine Zusammenfassung der Ergebnisse:<\/p>\n<\/div> Vergleich von RMSE, FA und %Bias zwischen LightGBM-Kodierungsmethode und dynamischer Kodierung<\/em><\/p>\n<\/div> Durchschnittlicher w\u00f6chentlicher Umsatz + 3-Monats-Prognosen (dynamische Kodierung vs. LightGBM-Kodierungsmethode) Wie in der obigen Grafik dargestellt, beinhaltet das Modell dynamische Kodierungen\u00a0f\u00e4ngt den Trend effektiv ein und extrapoliert ihn<\/strong>, w\u00e4hrend das alternative Modell Schwierigkeiten hat, dies zu erreichen.<\/p>\n<\/div> Unsere Methode erweist sich als besonders wertvoll in Szenarien, in denen die Zeitreihe\u00a0ausgepr\u00e4gte Trends<\/strong>\u00a0und die\u00a0Vorhersagehorizont<\/strong> ist weit genug entfernt, um von der Trendextrapolation zu profitieren. Da wir au\u00dferdem dynamisch kodieren und einbeziehen\u00a0mehr kategorische Merkmale<\/strong>\u00a0mit\u00a0signifikant pr\u00e4diktiv<\/strong> Strom<\/strong>\u00a0in das Modell ein,\u00a0der durch unseren Ansatz erzielte Effekt auf Vorhersagen steigt<\/strong>. Es ist jedoch wichtig anzuerkennen, dass andere Kodierungsmethoden ihre eigenen Vorteile haben und in verschiedenen Kontexten vorteilhafter sein k\u00f6nnen. Au\u00dferdem besteht die M\u00f6glichkeit, beide Kodierungsarten zu kombinieren, um m\u00f6glicherweise bessere Ergebnisse zu erzielen.<\/p>\n<\/div> Unsere Methode ist eine Abwandlung des Modellstapelns, denn wir verwenden ein Prophet-Modell - das sich durch \u00fcberlegene F\u00e4higkeiten bei der Modellierung und Extrapolation von Trends auszeichnet - um die Kodierung der kategorialen Merkmale zu konstruieren.<\/p>\n<\/div><\/li> Unsere Experimente haben die Vorteile der Reduzierung von Verzerrungen und der Verbesserung der Vorhersagegenauigkeit gezeigt.<\/p>\n<\/div><\/li><\/ul> Wir haben vor, in den kommenden Monaten ein Papier zu ver\u00f6ffentlichen, das alle Einzelheiten unseres Ansatzes und der Umsetzung enthalten wird. Bleiben Sie dran<\/a> f\u00fcr weitere Updates!<\/p>\n<\/div><\/div><\/div><\/div><\/article>Boosting und Trends, warum ist das so kompliziert?<\/h2><\/div>
Boosting-Algorithmen haben es schwer, zu extrapolieren<\/h3><\/div>
Klassische Kodierungen dr\u00e4ngen zu statischen Vorhersagen<\/h3><\/div>
<\/span><\/div>Unser neuer Ansatz: Dynamische Kodierung von kategorischen Merkmalen<\/h2><\/div>
Basis der dynamischen Kodierung (v1 ohne Elementebene)<\/h3><\/div>
<\/span><\/div>Dynamischen Merkmalen wird mehr Bedeutung beigemessen (v2 mit Elementebene)<\/h3><\/div>
<\/span><\/div><\/span><\/div>Experimente und Ergebnisse<\/h2><\/div>
Kunde dataset<\/h3><\/div>
<\/span><\/div>Verkauf in \u00f6ffentlichen Gesch\u00e4ften dataset<\/h3><\/div>
<\/span><\/div><\/span><\/div>
\n<\/em><\/p>\n<\/div>Nutzung und Grenzen<\/h2><\/div>
Fazit<\/h2><\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/03\/medium.png\" "\\"mittel\\"")
<\/span><\/div>