Prognosen für etwas, das nie stattgefunden hat: Wie wir die Rentabilität vergangener Werbeaktionen geschätzt haben

Bei der Planung zukünftiger Werbekampagnen müssen Bedarfsplaner entscheiden, welche Produktsortimente mit einem bestimmten Werbemechanismus rabattiert werden sollen (z.B. “-15%”, “Kaufen Sie 2, erhalten Sie 1 gratis” usw...)

Dies sind schwierige Entscheidungen, denn:

Für die meisten Einzelhandelsunternehmen ist die Kampagnenwahlen gemacht werden auf der Grundlage ihrer Geschäftskenntnisse und die Leistung früherer Beförderungen. Allerdings ist die “Leistung der vergangenen Beförderungen” ist schwer zu schätzen. In der Tat steigern Werbekampagnen den Umsatz (in den meisten Fällen), aber wie lässt sich die Effizienz oder der Return On Investment (ROI) abschätzen, wenn wir nicht wissen, wie hoch der Umsatz ohne eine Werbeaktion gewesen wäre? Dieser hypothetische Wert des Umsatzes ohne Promotion kann als Grundlinie. Mit anderen Worten: Es geht darum, die inkrementelle Verkäufe (oder Aufzug) einer Werbekampagne, die dem tatsächliche Verkäufe, abzüglich der Basislinie.

Um diese Frage zu beantworten, haben wir ein Tool entwickelt, mit dem wir den Verkaufsanstieg vergangener Kampagnen mit einer Genauigkeit von fast 90% abschätzen konnten.
Diese Aufgabe ist recht anspruchsvoll, da das Ziel darin besteht, Prognosen über hypothetische Umsatz in einer anderen Situation (hier, wenn die Werbekampagne für ein bestimmtes Produkt nicht stattgefunden hätte). Dies kann man als “kontrafaktische Vorhersage”. Dieser Artikel basiert hauptsächlich auf unseren Erfahrungen bei einem Projekt, das wir für eine französische Ladenkette durchgeführt haben.

Er soll den von uns verwendeten Ansatz beschreiben und Tipps und Vorbehalte bei der Implementierung einer kontrafaktischen Prognoselösung geben (data Vorbereitung, Modellierung), erklären Sie die Bewertung Prozess und diskutieren schließlich die Grenzen und nächste Schritte zu diesem Ansatz.

Die kontrafaktische Vorhersage ist der Prozess der Vorhersage von etwas in der Form: Was würde X wäre, wenn es keine Y. In unserem Anwendungsfall, X wäre der Verkauf und Y wäre eine Werbekampagne.

Es gibt tatsächlich mehrere Felder wo dieses Verfahren angewendet werden kann: Bestandsunterdeckung (Schätzung des Fehlbetrages aufgrund von nicht vorrätigen Artikeln), alle besondere Ereignisse, die nicht allzu lange dauern (Covid: funktioniert nicht!), um genügend data zu haben, um diese kontrafaktische Situation zu schätzen.

Das Beförderungsproblem kann unter 3 Gesichtspunkten angegangen werden (sortiert nach aufsteigender Schwierigkeit):

In diesem Artikel, werden wir uns auf den ersten Schritt konzentrieren da dies das Ziel unseres Projekts war. In den folgenden Abschnitten geben wir Ihnen jedoch einige Hinweise darauf, wie Sie die nächsten beiden Punkte angehen können.

Es gibt zwei Hauptgründe, die die Aufgabe der kontrafaktischen Vorhersage zu einem schwierigen Prozess machen:

Der Ansatz, den wir bei der Entwicklung unseres Tools verwendet haben, ist der folgende:

Wichtiger Hinweis: Das Ziel ist es, die Prognosen während der in der Vergangenheit liegenden Aktionszeiträume zu nutzen. Denn diese Aufgabe ist eine a posteriori Analyse dass es im Gegensatz zur klassischen Vorhersage möglich, an Terminen zu trainieren, die nach den Zeitraum der Inferenz, entsprechend der Werbekampagne. Es gibt hier keinen Begriff von data Leckage, da wir versuchen, ein Phänomen zu erklären, das in der Vergangenheit passiert ist. Der Arbeitsablauf zwischen Training und Schlussfolgerung sieht also wie folgt aus:

Um das Problem der Werbung zu lösen, müssen Sie das richtige data-Format verwenden. Normalerweise haben wir Zugang zu zwei Arten von data:

1. Werbegeschenk data (beschreibende Informationen zu Werbeaktionen)

2. Verkauf data.

Die vorverarbeitete data ist im Grunde die data der Verkäufe, angereichert mit Aktionsinformationen (linke Verknüpfung, siehe Abbildung oben). Jede Zeile mit einem “Promo-Typ” ungleich Null entspricht einem Tag, an dem das Produkt im Angebot ist.

Bevor Sie die erste Implementierung vornehmen, ist es wichtig, dass Sie die Qualität des data bewerten. Hier finden Sie einige Richtlinien für die durchzuführenden Kontrollen:

1. Suchen Sie nach wichtigen Ausgaben im Zeitreihen:

2. Definieren Sie eine Granularität für den Anwendungsfall:

Wenn die Zeitreihen also sauber genug sind, ist es ein guter Ausgangspunkt, einen möglichst granularen Ansatz zu wählen (z.B. Produkt X Tag, insbesondere wenn Sie mit Prophet arbeiten, wie wir es in diesem Projekt getan haben).

3. Mit einer klarer Umfang der FörderungWelche Produkte/Familien von Produkten sind Teil einer bestimmten Werbeaktion? Sind die Werbeaktionen auf nationaler Ebene geplant? (Wenn nicht, kann man z.B. nicht die Verkäufe eines Produkts in allen Geschäften eines Landes aggregieren).

Nachdem das data geprüft und vorbereitet wurde, ist es Zeit für die Modellierung.

Wir gestartet unsere ersten Iterationen mit Prophet weil es uns ermöglichte, eine Grundlinie sehr schnell, einfach hinzufügen Regressoren, und interpretieren die Ergebnisse natürlich (dank der additiven Zerlegung).

Hier finden Sie eine Zusammenfassung der wichtigsten Iterationsverbesserungen, die wir während des Projekts vorgenommen haben:

Im Grunde genommen, die wichtigste Verbesserungen kamen aus dem Regressoren haben wir hinzugefügt:

Schließlich hat auch die Anpassung der Art und Weise, wie wir die Vorhersagegenauigkeit gemessen haben (siehe Abschnitt "Bewertung" weiter unten), dazu beigetragen, dass wir die Leistung genauer bewerten können.

Trotz der guten Leistung und Interpretierbarkeit von Prophet haben wir festgestellt, dass XGBoost war am besten geeignet, und zwar aus mehreren Gründen:

Wie bereits erwähnt, gibt es bei kontrafaktischen Prognosen keine Grundwahrheit, was die Leistungsbewertung komplexer macht als bei klassischen Prognosen.

Wir haben jedoch einen Weg gefunden, unsere Leistung zu messen, oder besser gesagt, sie so genau wie möglich zu schätzen. Und so geht's:

Bei klassischen Prognosen messen wir die Leistung in der Regel anhand eines Kreuzvalidierung Strategie (hier, expandierendes Fenster) für einen bestimmten Validierungszeitraum (z.B. das letzte Jahr des verfügbaren data). Für diesen Validierungszeitraum verschiebt sich das tatsächliche Fenster, in dem wir die Leistung messen, in jeder Falte (“Bewertungsfenster”), und das vordere data wird für die Verzögerungsmerkmale verwendet (“Data verwendet, um Vorhersagen zu machen”). In einem Anwendungsfall der Werbung, wir fügen einige data nach dem Bewertungsfenster hinzu zu reproduzieren. Arbeitsablauf Training - Inferenz wie im Abschnitt “Vorgeschlagener Ansatz” beschrieben.

Wir können diese Strategie der Kreuzvalidierung also auf die Untergruppe von data, bei der es keine Promotion gibt, mit der Vorhersagegenauigkeit (FA) als Metrik.

Mit diesem Ansatz konnten wir eine Vorhersagegenauigkeit von fast 90% mit einer Granularität auf der Ebene Familie X Tag, was eine ordentliche Leistung ist, vergleichbar mit dem, was wir bei anderen Projekten zur klassischen Vorhersage erreicht haben.

Auch wenn diese Leistung zufriedenstellend ist, hat unser Ansatz einige Einschränkungen.

Um die Nettoauswirkungen einer Werbeaktion zu messen, können mehrere Effekte addiert werden:

Die ersten beiden Effekte wurden aufgrund der gewählten Granularität (Familienebene) nicht in unsere Analyse einbezogen, und die beiden letzten waren in der Zeit, die uns für dieses Projekt zur Verfügung stand, nur schwer gründlich zu quantifizieren.

Zusammenfassend lässt sich sagen, dass die Netto-Mehrumsatz einer Promotion könnte mit diesem Wasserfall dargestellt werden:

Wie bereits erwähnt, wird die (nachträgliche) Analyse der vergangenen Beförderungen durchgeführt (Stufe A), ist es dann möglich weitergehen von Vorhersage der Rentabilität von Zukunft Werbeaktionen (Stufe B) und schlagen schließlich eine Optimierung der Werbeplan (Stufe C).

Natürlich ist die Vorhersage (Schätzung) der zukünftigen Rentabilität einer Werbeaktion schwieriger als die Schätzung der Rentabilität einer früheren Werbeaktion, denn wir haben keine data im Rahmen der Promotion verfügbar. Die Idee ist, dass wiederverwenden die Modell entwickelt in Phase A mit data, die keine historische data ist, sondern prognostizierte data aus einem klassischen Prognosemodell, wie folgt:

Trainieren Sie zunächst das klassische Prognosemodell auf den verfügbaren data (bis heute):

Machen Sie dann die Vorhersagen mit diesem Modell (der zu prognostizierende Zeitraum muss den Bereich der zeitlichen Merkmale abdecken, der vom “Basismodell” verwendet wird):

Verwenden Sie schließlich das trainierte Basismodell mit zeitlichen Merkmalen auf der Grundlage der Prognosen des ersten Modells und schätzen Sie die Basislinie, die den Umsatzanstieg ergibt:

Natürlich ist dieser Prozess mit mehr Unsicherheiten behaftet, da die Fehler der beiden gestapelten Modelle korreliert sind.

Um den Promotionsplan zu optimieren, besteht die Strategie schließlich darin, die in der vorangegangenen Phase gemachten Erfahrungen zu nutzen, um Wählen Sie die beste Kombination von Werbeparametern um die Optimieren Sie a Geschäftsmetrik wie zum Beispiel der ROI.

Verwendung von kontrafaktische Vorhersage zur Lösung von Geschäftsproblemen ist keine gewöhnliche Aufgabe die in der Literatur zu finden sind.

Wir haben jedoch gesehen, dass es sich um eine mächtiges Werkzeug um das Problem der Bewertung gründlich die Leistung von frühere Beförderungen, von. Vorhersage hypothetischer Verkäufe (Grundlinie), wenn es keine Beförderung gegeben hätte. Wir haben auch Empfehlungen für das Feature Engineering für ein autoregressives (Prophet) oder Gradient Boosting (XGBoost) Modell untersucht. Abschließend haben wir einige Richtlinien zur weiteren Verfeinerung der Analyse und zur Durchführung von mehr als nur einer a posteriori-Analyse beschrieben.

Vielen Dank an die anderen data-Wissenschaftler, die mit mir an diesem Projekt gearbeitet haben: Kasra & Ombeline. Dank auch an die Artefactors die diesen Artikel Korrektur gelesen haben.