![\"Image\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/09\/luca-serr.jpeg\")
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/04\/Medium-Blog.png\" "\\"Medium")
<\/span><\/div>Bedrijfscontext<\/p><\/h2><\/div>Bij het plannen van toekomstige promotiecampagnes moeten de planners van de vraag beslissen welke productassortimenten afgeprijsd zullen worden, met een bepaald promotiemechanisme (bijv. \u201c-15%\u201d, \u201ckoop er 2, krijg er 1 gratis\u201d enz...).<\/p>\n
Dit zijn moeilijke beslissingen, want:<\/p>\n<\/div>
- <\/i><\/span>Kiezen voor\u00a0te veel promoties<\/strong>\u00a0zou\u00a0niet zijn<\/strong>\u00a0een\u00a0effectief<\/strong>\u00a0strategie (klanten raken gewend aan promoties en hebben de neiging om op de volgende te wachten).<\/div><\/li>
- <\/i><\/span>De\u00a0verkeerde promoties<\/strong>\u00a0zou leiden tot tekorten en\u00a0verliezen<\/strong>.<\/div><\/li><\/ul>
Voor de meeste detailhandelsbedrijven is de\u00a0campagnekeuzes<\/strong>\u00a0worden gemaakt\u00a0op basis van hun bedrijfskennis<\/strong>\u00a0en de\u00a0prestaties van eerdere promoties<\/em>. De \u201cprestaties<\/strong>\u00a0van eerdere promoties\u201d is\u00a0moeilijk in te schatten<\/strong>. Promotiecampagnes verhogen inderdaad de verkoop (in de meeste gevallen), maar hoe kunnen we de effici\u00ebntie of Return On Investment (ROI) schatten als we niet weten wat de verkoop zou zijn geweest zonder een promotie? Deze hypothetische waarde van de verkoop zonder promotie kan een\u00a0basislijn<\/em>. Met andere woorden, het draait allemaal om het kunnen inschatten van de\u00a0stijgende verkoop<\/strong>\u00a0(of\u00a0omhoog<\/em>) van een promotiecampagne, die overeenkomt met de\u00a0daadwerkelijke verkoop<\/strong>,\u00a0min de basislijn<\/strong>.<\/p>\nOm deze vraag te beantwoorden, hebben we een tool ontwikkeld die de promotionele omzetstijging van eerdere campagnes kon schatten, met een nauwkeurigheid van bijna 90%.
\nDeze taak is een hele uitdaging, omdat het doel is om voorspellingen te doen van\u00a0hypothetisch<\/em>\u00a0verkoop in een andere situatie (hier, als de promotiecampagne voor een bepaald product niet had plaatsgevonden). Dit kan \u201ccontrafeitelijke prognose<\/em>\u201d. Dit artikel is voornamelijk gebaseerd op onze ervaring met een project dat we voor een Franse winkelketen hebben gedaan.<\/p>\nHet doel is om de aanpak die we hebben gebruikt te beschrijven, tips en voorbehouden te geven bij het implementeren van een counterfactual forecasting-oplossing (data voorbereiding<\/em>,\u00a0modellering<\/em>), leg de\u00a0evaluatie<\/em>\u00a0proces en bespreken ten slotte de\u00a0beperkt<\/em>\u00a0en\u00a0volgende stappen<\/em>\u00a0voor deze aanpak.<\/p>\n<\/div>Wat is counterfactual forecasting en waarom is het moeilijk te voorspellen?<\/h2><\/div>Contrafeitelijke voorspelling is het proces om iets in de vorm te voorspellen:\u00a0wat zou\u00a0<\/em>X\u00a0zijn als er geen\u00a0<\/em>Y. In ons gebruiksscenario,\u00a0X<\/em>\u00a0de verkoop en\u00a0Y<\/em>\u00a0zou een promotiecampagne zijn.<\/p>\nEr zijn eigenlijk\u00a0meerdere velden<\/strong>\u00a0waar dit proces kan worden toegepast:\u00a0voorraadtekort<\/strong>\u00a0(schatting van het tekort als gevolg van artikelen die niet op voorraad zijn), eventuele\u00a0speciale evenementen die niet te lang duren<\/strong>\u00a0(Covid: werkt niet!) om genoeg data te hebben om die contrafeitelijke situatie te schatten.<\/p>\nHet promotieprobleem kan op 3 manieren worden aangepakt (gesorteerd op oplopende moeilijkheidsgraad):<\/p>\n<\/div>
- <\/i><\/span>\n
1. Inzicht in eerdere promoties:<\/strong> een grondige schatting maken van de prestaties (verkoopstijging of ROI bijvoorbeeld) van eerdere promotiecampagnes.<\/p>\n<\/div><\/li>- <\/i><\/span>\n
2. Voorspellen <\/strong>de prestaties <\/strong>van toekomstige promotie<\/strong>\u00a0campagnes gezien hun kenmerken (afgeprijsde producten, begin- en einddatum, mechanisme...)<\/p>\n<\/div><\/li>- <\/i><\/span>\n
3. Het promotieplan optimaliseren<\/strong>Het vinden van de beste opzet van toekomstige promoties om een bedrijfsmetriek te maximaliseren.<\/p>\n<\/div><\/li><\/ul>In dit artikel,\u00a0zullen we ons richten op de eerste stap<\/em>\u00a0aangezien dit het doel van ons project was. In de volgende secties zullen we echter een paar inzichten geven over hoe de volgende twee aangepakt kunnen worden.<\/p>\nEr zijn twee belangrijke redenen die de taak van counterfactual forecasting tot een uitdagend proces maken:<\/p>\n<\/div>
- <\/i><\/span>\n
Er is een gebrek aan literatuur of voorbeelden<\/strong>\u00a0over dit onderwerp, terwijl het zeer nuttig is in de detailhandel en andere bedrijfstakken.<\/p>\n<\/div><\/li>- <\/i><\/span>\n
In counterfactual forecasting,\u00a0er is geen grondwaarheid<\/strong>, omdat het iets is wat niet gebeurd is. De beoordeling van de prestaties lijkt dus vrij moeilijk (gelukkig hebben we een aanpak bedacht die in het gedeelte Evaluatie zal worden gepresenteerd).<\/p>\n<\/div><\/li><\/ul>Voorgestelde benadering<\/h2><\/div>We hebben de volgende aanpak gebruikt om ons hulpmiddel te bouwen:<\/p>\n<\/div>
- <\/i><\/span>\n
1. Trein<\/strong>\u00a0een voorspelling\u00a0model op data buiten promotie<\/strong>, om een basislijn te leren van hoe de verkoop eruit zou moeten zien zonder geplande promoties.<\/p>\n<\/div><\/li>- <\/i><\/span>\n
2. Voorspel<\/strong>\u00a0op alle data punten (eigenlijk worden alleen de voorspellingen tijdens de promotie gebruikt, maar het kan goed zijn om de voorspellingen overal te bewaren voor de interpretatie).<\/p>\n<\/div><\/li>- <\/i><\/span>\n
3. Vergelijk<\/strong>\u00a0die voorspelde basislijn met de werkelijke verkoop tijdens elke promotie om de stijging ervan af te leiden.<\/p>\n<\/div><\/li><\/ul>![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/09\/article-medium1.png\" "\\"artikel-medium1\\"")
<\/span><\/div>Belangrijke opmerking<\/em>: Het doel is om de prognoses te gebruiken tijdens de promotieperioden, die in het verleden liggen. Dit is omdat deze taak een\u00a0achteraf<\/em>\u00a0analyse<\/strong>\u00a0dat, in tegenstelling tot klassieke voorspellingen, het\u00a0mogelijk om te trainen op data die\u00a0na<\/em>\u00a0de inferentieperiode<\/strong>, die overeenkomt met de promotiecampagne. Er is hier geen sprake van data lekkage, omdat we een fenomeen uit het verleden proberen te verklaren. De workflow voor training en inferentie ziet er dus als volgt uit:<\/p>\n<\/div>![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/09\/Article-medium2.png\" "\\"Artikel-middel2\\"")
<\/span><\/div>Uitvoering<\/p><\/h2><\/div>De data voorbereiden<\/p><\/h3><\/div>Om het promotieprobleem aan te pakken, moet u het juiste data-formaat gebruiken. Gewoonlijk hebben we toegang tot twee soorten data:<\/p>\n
1. Promotionele data<\/strong>\u00a0(beschrijvende informatie met betrekking tot promoties)<\/p>\n2. Verkoop data<\/strong>.<\/p>\n<\/div>![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/09\/article-medium3.png\" "\\"artikel-medium3\\"")
<\/span><\/div>De voorbewerkte data is in principe de verkoop data, verrijkt met promotie-informatie (linkse join, zie bovenstaande afbeelding). Elke rij met een niet-nul \u201cPromo type\u201d komt overeen met een dag waarop het product in promotie is.<\/p>\n
Voordat u de eerste implementatie uitvoert, is het belangrijk om\u00a0de kwaliteit van de data beoordelen<\/strong>. Hier volgen enkele richtlijnen voor de uit te voeren controles:<\/p>\n1. Zoek naar belangrijke problemen<\/strong>\u00a0in de\u00a0tijdreeksen<\/strong>:<\/p>\n<\/div>- <\/i><\/span>\n
Intermitterend<\/strong>\u00a0en\/of zeer\u00a0lage verkoop\u00a0<\/strong>(het zal moeilijk zijn om een basislijn te leren).<\/p>\n<\/div><\/li>- <\/i><\/span>\n
Promoties duren te lang<\/strong>\u00a0en\/of te frequent zijn (dus niet genoeg data punten om op te trainen).<\/p>\n<\/div><\/li>- <\/i><\/span>\n
Sommige\u00a0producten<\/strong>\u00a0zijn in\u00a0meerdere promoties<\/strong>\u00a0op hetzelfde moment (welke promotie is verantwoordelijk voor deze extra verkoop?)<\/p>\n<\/div><\/li><\/ul>2. Definieer een\u00a0korrelgrootte<\/strong>\u00a0voor de use case:<\/p>\n<\/div>- <\/i><\/span>\n
Tijd<\/strong>\u00a0granulariteit: zal de analyse dagelijks of wekelijks zijn?<\/p>\n<\/div><\/li>- <\/i><\/span>Item<\/strong>\u00a0granulariteit: \u00e9\u00e9n tijdreeks per artikel? Per familie van artikelen? Soms kunt u de granulariteit niet verkleinen als het aantal verkochte eenheden per tijdselement niet hoog genoeg is of als de tijdreeks te intermitterend is. De\u00a0samengevoegde verkoop\u00a0<\/strong>zullen\u00a0soepeler<\/strong>, met minder volumeproblemen, maar soms zullen ze\u00a0gebrek aan interpreteerbaarheid<\/strong>.<\/div><\/li><\/ul>
Als de tijdreeksen schoon genoeg zijn, is het dus een goed uitgangspunt om de meest granulaire benadering te kiezen (bijv. product X dag, vooral als u met Prophet werkt, zoals wij in dit project hebben gedaan).<\/p>\n
3. Het hebben van een\u00a0duidelijk promotiebereik<\/strong>Welke producten\/families van producten maken deel uit van een bepaalde promotie? Worden de promoties op nationaal niveau gepland? (zo niet, dan kan men bijvoorbeeld niet de verkoop van een product in alle winkels van een land samenvoegen).<\/p>\nNadat de data gecontroleerd en voorbereid is, is het tijd om te modelleren.<\/p>\n<\/div>
Modelleren<\/p><\/h3><\/div>Eerste iteraties en belangrijke opmerkingen<\/h4><\/div>Wij\u00a0begonnen<\/strong>\u00a0onze eerste iteraties met\u00a0Profeet<\/strong><\/a>\u00a0omdat het ons in staat stelde om een\u00a0basislijn<\/strong>\u00a0erg\u00a0snel<\/strong>, gemakkelijk toevoegen\u00a0regressoren<\/strong><\/a>, en\u00a0interpreteren<\/strong>\u00a0de resultaten op natuurlijke wijze (dankzij de additieve ontbinding).<\/p>\nHier volgt een samenvatting van de belangrijkste iteratieverbeteringen die we tijdens het project hadden:<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/10\/article-medium4.png\" "\\"artikel-medium4\\"")
<\/span><\/div>In principe is de\u00a0belangrijkste verbeteringen<\/strong>\u00a0kwamen van de\u00a0regressoren<\/strong>\u00a0hebben we toegevoegd:<\/p>\n<\/div>- <\/i><\/span>
Bij het plannen van toekomstige promotiecampagnes moeten de planners van de vraag beslissen welke productassortimenten afgeprijsd zullen worden, met een bepaald promotiemechanisme (bijv. \u201c-15%\u201d, \u201ckoop er 2, krijg er 1 gratis\u201d enz...).<\/p>\n
Dit zijn moeilijke beslissingen, want:<\/p>\n<\/div>
- <\/i><\/span>Kiezen voor\u00a0te veel promoties<\/strong>\u00a0zou\u00a0niet zijn<\/strong>\u00a0een\u00a0effectief<\/strong>\u00a0strategie (klanten raken gewend aan promoties en hebben de neiging om op de volgende te wachten).<\/div><\/li>
- <\/i><\/span>
De\u00a0verkeerde promoties<\/strong>\u00a0zou leiden tot tekorten en\u00a0verliezen<\/strong>.<\/div><\/li><\/ul>Voor de meeste detailhandelsbedrijven is de\u00a0campagnekeuzes<\/strong>\u00a0worden gemaakt\u00a0op basis van hun bedrijfskennis<\/strong>\u00a0en de\u00a0prestaties van eerdere promoties<\/em>. De \u201cprestaties<\/strong>\u00a0van eerdere promoties\u201d is\u00a0moeilijk in te schatten<\/strong>. Promotiecampagnes verhogen inderdaad de verkoop (in de meeste gevallen), maar hoe kunnen we de effici\u00ebntie of Return On Investment (ROI) schatten als we niet weten wat de verkoop zou zijn geweest zonder een promotie? Deze hypothetische waarde van de verkoop zonder promotie kan een\u00a0basislijn<\/em>. Met andere woorden, het draait allemaal om het kunnen inschatten van de\u00a0stijgende verkoop<\/strong>\u00a0(of\u00a0omhoog<\/em>) van een promotiecampagne, die overeenkomt met de\u00a0daadwerkelijke verkoop<\/strong>,\u00a0min de basislijn<\/strong>.<\/p>\n
Om deze vraag te beantwoorden, hebben we een tool ontwikkeld die de promotionele omzetstijging van eerdere campagnes kon schatten, met een nauwkeurigheid van bijna 90%.
\nDeze taak is een hele uitdaging, omdat het doel is om voorspellingen te doen van\u00a0hypothetisch<\/em>\u00a0verkoop in een andere situatie (hier, als de promotiecampagne voor een bepaald product niet had plaatsgevonden). Dit kan \u201ccontrafeitelijke prognose<\/em>\u201d. Dit artikel is voornamelijk gebaseerd op onze ervaring met een project dat we voor een Franse winkelketen hebben gedaan.<\/p>\nHet doel is om de aanpak die we hebben gebruikt te beschrijven, tips en voorbehouden te geven bij het implementeren van een counterfactual forecasting-oplossing (data voorbereiding<\/em>,\u00a0modellering<\/em>), leg de\u00a0evaluatie<\/em>\u00a0proces en bespreken ten slotte de\u00a0beperkt<\/em>\u00a0en\u00a0volgende stappen<\/em>\u00a0voor deze aanpak.<\/p>\n<\/div>
Wat is counterfactual forecasting en waarom is het moeilijk te voorspellen?<\/h2><\/div>
Contrafeitelijke voorspelling is het proces om iets in de vorm te voorspellen:\u00a0wat zou\u00a0<\/em>X\u00a0zijn als er geen\u00a0<\/em>Y. In ons gebruiksscenario,\u00a0X<\/em>\u00a0de verkoop en\u00a0Y<\/em>\u00a0zou een promotiecampagne zijn.<\/p>\n
Er zijn eigenlijk\u00a0meerdere velden<\/strong>\u00a0waar dit proces kan worden toegepast:\u00a0voorraadtekort<\/strong>\u00a0(schatting van het tekort als gevolg van artikelen die niet op voorraad zijn), eventuele\u00a0speciale evenementen die niet te lang duren<\/strong>\u00a0(Covid: werkt niet!) om genoeg data te hebben om die contrafeitelijke situatie te schatten.<\/p>\n
Het promotieprobleem kan op 3 manieren worden aangepakt (gesorteerd op oplopende moeilijkheidsgraad):<\/p>\n<\/div>
- <\/i><\/span>\n
1. Inzicht in eerdere promoties:<\/strong> een grondige schatting maken van de prestaties (verkoopstijging of ROI bijvoorbeeld) van eerdere promotiecampagnes.<\/p>\n<\/div><\/li>
- <\/i><\/span>
\n2. Voorspellen <\/strong>de prestaties <\/strong>van toekomstige promotie<\/strong>\u00a0campagnes gezien hun kenmerken (afgeprijsde producten, begin- en einddatum, mechanisme...)<\/p>\n<\/div><\/li>
- <\/i><\/span>
\n3. Het promotieplan optimaliseren<\/strong>Het vinden van de beste opzet van toekomstige promoties om een bedrijfsmetriek te maximaliseren.<\/p>\n<\/div><\/li><\/ul>
In dit artikel,\u00a0zullen we ons richten op de eerste stap<\/em>\u00a0aangezien dit het doel van ons project was. In de volgende secties zullen we echter een paar inzichten geven over hoe de volgende twee aangepakt kunnen worden.<\/p>\n
Er zijn twee belangrijke redenen die de taak van counterfactual forecasting tot een uitdagend proces maken:<\/p>\n<\/div>
- <\/i><\/span>\n
Er is een gebrek aan literatuur of voorbeelden<\/strong>\u00a0over dit onderwerp, terwijl het zeer nuttig is in de detailhandel en andere bedrijfstakken.<\/p>\n<\/div><\/li>
- <\/i><\/span>
\nIn counterfactual forecasting,\u00a0er is geen grondwaarheid<\/strong>, omdat het iets is wat niet gebeurd is. De beoordeling van de prestaties lijkt dus vrij moeilijk (gelukkig hebben we een aanpak bedacht die in het gedeelte Evaluatie zal worden gepresenteerd).<\/p>\n<\/div><\/li><\/ul>
Voorgestelde benadering<\/h2><\/div>
We hebben de volgende aanpak gebruikt om ons hulpmiddel te bouwen:<\/p>\n<\/div>
- <\/i><\/span>\n
1. Trein<\/strong>\u00a0een voorspelling\u00a0model op data buiten promotie<\/strong>, om een basislijn te leren van hoe de verkoop eruit zou moeten zien zonder geplande promoties.<\/p>\n<\/div><\/li>
- <\/i><\/span>
\n2. Voorspel<\/strong>\u00a0op alle data punten (eigenlijk worden alleen de voorspellingen tijdens de promotie gebruikt, maar het kan goed zijn om de voorspellingen overal te bewaren voor de interpretatie).<\/p>\n<\/div><\/li>
- <\/i><\/span>
\n3. Vergelijk<\/strong>\u00a0die voorspelde basislijn met de werkelijke verkoop tijdens elke promotie om de stijging ervan af te leiden.<\/p>\n<\/div><\/li><\/ul>
<\/span><\/div>Belangrijke opmerking<\/em>: Het doel is om de prognoses te gebruiken tijdens de promotieperioden, die in het verleden liggen. Dit is omdat deze taak een\u00a0achteraf<\/em>\u00a0analyse<\/strong>\u00a0dat, in tegenstelling tot klassieke voorspellingen, het\u00a0mogelijk om te trainen op data die\u00a0na<\/em>\u00a0de inferentieperiode<\/strong>, die overeenkomt met de promotiecampagne. Er is hier geen sprake van data lekkage, omdat we een fenomeen uit het verleden proberen te verklaren. De workflow voor training en inferentie ziet er dus als volgt uit:<\/p>\n<\/div>
<\/span><\/div>Uitvoering<\/p><\/h2><\/div>
De data voorbereiden<\/p><\/h3><\/div>
Om het promotieprobleem aan te pakken, moet u het juiste data-formaat gebruiken. Gewoonlijk hebben we toegang tot twee soorten data:<\/p>\n
1. Promotionele data<\/strong>\u00a0(beschrijvende informatie met betrekking tot promoties)<\/p>\n
2. Verkoop data<\/strong>.<\/p>\n<\/div>
<\/span><\/div>De voorbewerkte data is in principe de verkoop data, verrijkt met promotie-informatie (linkse join, zie bovenstaande afbeelding). Elke rij met een niet-nul \u201cPromo type\u201d komt overeen met een dag waarop het product in promotie is.<\/p>\n
Voordat u de eerste implementatie uitvoert, is het belangrijk om\u00a0de kwaliteit van de data beoordelen<\/strong>. Hier volgen enkele richtlijnen voor de uit te voeren controles:<\/p>\n
1. Zoek naar belangrijke problemen<\/strong>\u00a0in de\u00a0tijdreeksen<\/strong>:<\/p>\n<\/div>
- <\/i><\/span>\n
Intermitterend<\/strong>\u00a0en\/of zeer\u00a0lage verkoop\u00a0<\/strong>(het zal moeilijk zijn om een basislijn te leren).<\/p>\n<\/div><\/li>
- <\/i><\/span>
\nPromoties duren te lang<\/strong>\u00a0en\/of te frequent zijn (dus niet genoeg data punten om op te trainen).<\/p>\n<\/div><\/li>
- <\/i><\/span>
\nSommige\u00a0producten<\/strong>\u00a0zijn in\u00a0meerdere promoties<\/strong>\u00a0op hetzelfde moment (welke promotie is verantwoordelijk voor deze extra verkoop?)<\/p>\n<\/div><\/li><\/ul>
2. Definieer een\u00a0korrelgrootte<\/strong>\u00a0voor de use case:<\/p>\n<\/div>
- <\/i><\/span>\n
Tijd<\/strong>\u00a0granulariteit: zal de analyse dagelijks of wekelijks zijn?<\/p>\n<\/div><\/li>
- <\/i><\/span>
Item<\/strong>\u00a0granulariteit: \u00e9\u00e9n tijdreeks per artikel? Per familie van artikelen? Soms kunt u de granulariteit niet verkleinen als het aantal verkochte eenheden per tijdselement niet hoog genoeg is of als de tijdreeks te intermitterend is. De\u00a0samengevoegde verkoop\u00a0<\/strong>zullen\u00a0soepeler<\/strong>, met minder volumeproblemen, maar soms zullen ze\u00a0gebrek aan interpreteerbaarheid<\/strong>.<\/div><\/li><\/ul>Als de tijdreeksen schoon genoeg zijn, is het dus een goed uitgangspunt om de meest granulaire benadering te kiezen (bijv. product X dag, vooral als u met Prophet werkt, zoals wij in dit project hebben gedaan).<\/p>\n
3. Het hebben van een\u00a0duidelijk promotiebereik<\/strong>Welke producten\/families van producten maken deel uit van een bepaalde promotie? Worden de promoties op nationaal niveau gepland? (zo niet, dan kan men bijvoorbeeld niet de verkoop van een product in alle winkels van een land samenvoegen).<\/p>\n
Nadat de data gecontroleerd en voorbereid is, is het tijd om te modelleren.<\/p>\n<\/div>
Modelleren<\/p><\/h3><\/div>
Eerste iteraties en belangrijke opmerkingen<\/h4><\/div>
Wij\u00a0begonnen<\/strong>\u00a0onze eerste iteraties met\u00a0Profeet<\/strong><\/a>\u00a0omdat het ons in staat stelde om een\u00a0basislijn<\/strong>\u00a0erg\u00a0snel<\/strong>, gemakkelijk toevoegen\u00a0regressoren<\/strong><\/a>, en\u00a0interpreteren<\/strong>\u00a0de resultaten op natuurlijke wijze (dankzij de additieve ontbinding).<\/p>\n
Hier volgt een samenvatting van de belangrijkste iteratieverbeteringen die we tijdens het project hadden:<\/p>\n<\/div>
<\/span><\/div>In principe is de\u00a0belangrijkste verbeteringen<\/strong>\u00a0kwamen van de\u00a0regressoren<\/strong>\u00a0hebben we toegevoegd:<\/p>\n<\/div>
- <\/i><\/span>
- <\/i><\/span>
- <\/i><\/span>
- <\/i><\/span>
- <\/i><\/span>
- <\/i><\/span>
- <\/i><\/span>