Context
ADEO heeft een uitgebreide Knowledge Graph ontwikkeld die de hele productcatalogus omvat. Tegelijkertijd publiceert de organisatie een schat aan doe-het-zelf-artikelen op haar website. Deze artikelen zijn echter niet gekoppeld aan de kennisgrafiek, waardoor we niet nauwkeurig kunnen vaststellen naar welke producten of entiteiten binnen de taxonomie wordt verwezen in de inhoud. Door deze artikelen te koppelen aan de kennisgrafiek zou ADEO de gebruikerservaring aanzienlijk kunnen verbeteren door slimmere zoekmogelijkheden, gepersonaliseerde aanbevelingen en interessantere, verrijkte inhoud.
Dit initiatief markeert het nieuwste hoofdstuk in een succesvolle en duurzame samenwerking tussen Adeo, Google en Artefact. Voortbouwend op een fundament van gedeelde expertise in data, retail en geavanceerde technologie, vertegenwoordigt dit project een natuurlijke evolutie in onze reis om het digitale retaillandschap te innoveren. De strategische afstemming met Google is essentieel geweest bij het leveren van de tools en infrastructuur die nodig zijn om deze ambitieuze onderneming aan te pakken.
De hoeksteen: Adeo's Kennisgrafiek & DIY Artikel Potentieel
Het hart van dit project wordt gevormd door Adeo's robuuste Knowledge Graph - een geavanceerde grafiekdatabase waarin de taxonomie van de organisatieis ondergebracht - een gestructureerde manier om informatie te classificeren en categoriseren. Dit netwerk van onderling verbonden data , dat momenteel ongeveer 500.000 relaties met 23.000 unieke onderwerpen, 41 predicaten en 225.000 objecten bevat, vertegenwoordigt een schat aan informatie over producten, categorieën en hun relaties. Hier zijn eenvoudige voorbeelden van relaties die je in deze kennisgrafiek kunt vinden:
Voorbeelden van entiteiten en relaties
Een aanzienlijk deel van de waardevolle informatie bevindt zich echter in de talrijke Doe-Het-Zelf (DIY) artikels die gepubliceerd zijn op de Leroy Merlin website. Deze artikelen, rijk aan praktisch advies en instructies, vermelden vaak entiteiten die al aanwezig zijn in de Adeo Knowledge Graph. De uitdaging? Er was geen geautomatiseerde manier om deze vermeldingen te identificeren en de cruciale links te leggen tussen de tekstuele inhoud en de gestructureerde kennis.
Het overbruggen van deze kloof ontsluit aanzienlijke bedrijfswaarde, vooral binnen de context van een voortdurende AI en AI . Door automatisch entiteiten te extraheren uit artikelen en andere tekstuele data en deze te koppelen in de Knowledge Graph, en dus te verrijken, kunnen we:
- Verbeter zoekrelevantie: Maak semantisch zoeken mogelijk, zodat gebruikers artikelen kunnen vinden op basis van de onderliggende concepten in plaats van alleen trefwoorden.
- Productaanbevelingen verbeteren: Begrijp de entiteiten die in een artikel worden besproken om relevante producten, hulpmiddelen en materialen direct aan de lezer aan te bevelen.
- Inhoud verrijken en personaliseren: Verrijk artikelen dynamisch met links naar relevante entiteiten in de Knowledge Graph, zodat gebruikers diepere context en gerelateerde informatie krijgen.
Navigeren door het landschap: NER & NEL met LLM's
De taak in kwestie - het identificeren en koppelen van vermeldingen van entiteiten in tekst aan een vooraf gedefinieerde kennisbank - valt onder de gevestigde domeinen van Named Entity Recognition (NER) en Named Entity Linking (NEL). Traditioneel vereiste hoge prestaties het trainen van gespecialiseerde modellen op grote, gelabelde datasets. Hoewel er krachtige NER/NEL-modellen bestaan, vormde hun data karakter een uitdaging voor onze snelle inzetbaarheid.
Daarom kozen we voor een andere aanpak: gebruikmaken van de kracht van Large Language Models (LLM's) om onze extractiepijplijn te bouwen. Hoewel LLM's weinig tot geen taakspecifieke data vereisen - waardoor ze sneller kunnen worden geïmplementeerd en geïmplementeerd - vereisen ze nog steeds geannoteerde data voor evaluatie. Daarom heeft het Adeo-team een uitgebreide validatieset gebouwd, waarvoor aanzienlijke menselijke inspanningen en diepgaande bedrijfsexpertise nodig waren. Deze dataset is essentieel voor het betrouwbaar meten van de prestaties van de pipeline.
Ons primaire doel was niet direct perfecte nauwkeurigheid. In plaats daarvan richtten we ons op het creëren van een functionele pijplijn om vooraf geannoteerde tekst te leveren aan menselijke labelaars. Dit versnelt het annotatieproces aanzienlijk, waardoor toekomstige fijnafstemming van gespecialiseerde modellen veel efficiënter wordt.
Ons innovatieve tweefasenmodel
Om NER en NEL aan te pakken, ontwikkelden we een robuuste tweefasige pijplijn
De NER/NEL-pijplijn met twee niveaus
1. Named Entity Recognition (NER): Kandidaat entiteiten zoeken
Deze fase identificeert vermeldingen van relevante entiteiten in doe-het-zelf artikelen met behulp van een LLM. We behandelen de lengte van artikelen met Text Chunking: lange artikelen worden opgesplitst in hanteerbare stukken (500 woorden) voor een consistente LLM-context en betere prestaties. Ons NER-proces gebruikt een strategie op twee niveaus:
- Lokale entiteiten: Voor contextspecifieke vermeldingen ondergaat elke chunk van 500 woorden een dubbele extractie voor verfijning (een soort Chain of Thoughts ) met behulp van een LLM. De resultaten van alle chunks worden vervolgens gecombineerd.
- Wereldwijde entiteiten: Voor overkoepelende thema's wordt de volledige tekst verwerkt (opnieuw met dubbele extractie met behulp van een LLM) voor een uitgebreide dekking.
Deze tweeledige aanpak zorgt ervoor dat we zowel details als brede concepten effectief vastleggen.
2. Named Entity Linking (NEL): De puntjes verbinden met de kennisgrafiek
Zodra entiteiten zijn geëxtraheerd, desambigueert NEL ze en koppelt ze aan de meest relevante Knowledge Graph-vermelding. Dit houdt in:
Kandidatengeneratie
Voor elke geëxtraheerde entiteit genereren we potentiële overeenkomsten uit de KG met behulp van een vectoropslag en tekstinbeddingen. Alleen de semantisch meest vergelijkbare kandidaten worden bewaard. We gebruikten het GCP text-multilingual-embedding-002 model met een vector database voor deze taak.
Om dit te illustreren, stel dat de NER-fase de kandidaat-entiteit "lichtgewicht canvas handschoenen" uit een tekstfragment haalt:
"[...] je kunt kiezen voor lichtgewicht canvas handschoenen. Als je met je handen in de grond werkt [...]".
In de stap 'Kandidaten genereren' haalt het systeem potentiële overeenkomsten uit de kennisgrafiek op basis van semantische gelijkenis. Dit kan een gerangschikte lijst van kandidaten opleveren, zoals "wegwerphandschoenen" (rang 1), "werkhandschoenen" (rang 2), ..., "tuinhandschoenen" (rang 9) en "handschoenen voor het hanteren van glas" (rang 10), enz.
Semantische herrangschikking
De kandidaten op de shortlist worden opnieuw gerangschikt door een LLM die de context van de entiteit in het artikel analyseert. Alleen de beste match gaat door. We vonden 25 kandidaten het optimale aantal voor herrangschikking.
Om ons voorbeeld voort te zetten, zou de LLM nu de omringende tekst "...Als je met je handen in de grond werkt..." analyseren en deze context gebruiken om de kandidaten te rangschikken. Door de vermelding van het werken met grond, zou "tuinhandschoenen" waarschijnlijk naar de top van de lijst worden gepromoveerd als de semantisch meest relevante kandidaat.
Hiërarchische rangschikking
De geselecteerde kandidaat wordt gepositioneerd binnen de hiërarchie van de KG. Een andere LLM kan op basis van de context de selectie behouden of vervangen door een geschiktere ouder, kind of broer of zus. Een hiërarchische rerankingdrempel van 100 zorgt ervoor dat de volledige hiërarchie in aanmerking wordt genomen.
Beschouw de volgende vereenvoudigde hiërarchie in de Kennisgrafiek:
In deze stap controleert het systeem of "tuinhandschoenen" het meest geschikte specificiteitsniveau is. Hoewel het in ons voorbeeld een goede overeenkomst is, zou de hiërarchische rangschikking, als de context breder was geweest en alleen de noodzaak van handbescherming had vermeld zonder de tuiniercontext, de voorouderentiteit "handschoenen" kunnen promoten en koppelen aan het overeenkomstige KG-artikel.
Dit NEL-proces in meerdere stappen zorgt voor een nauwkeurige en zinvolle verankering in de kennisgrafiek.
Succes meten: Onze evaluatiemethode
Om de effectiviteit van onze kennisgrafiekverrijkingspijplijn voor de doe-het-zelfartikelen van Leroy Merlin te garanderen, hebben we een robuuste evaluatie uitgevoerd tegen een zorgvuldig samengestelde ground truth-dataset met entiteiten uit de Adeo-kennisgrafiek.
Deze evaluatie richt zich specifiek op het vermogen van de pijplijn om vier belangrijke entiteitklassen te identificeren en te koppelen: ProductSet, HomeSpace, DIYActivity en Color, zowel op globaal als lokaal niveau binnen de artikelen:
- ProductSet: Dit zijn gereedschappen, materialen of te kopen producten die worden gebruikt voor huisverbetering, tuinieren of doe-het-zelftaken. Voorbeelden: Betonmolen, Lucht-lucht warmtepomp, Tuiniersschort, Bureaulamp, Slimme thermostaat
- HomeSpace: Dit zijn ruimtes of kamers in een huis of tuin waar doe-het-zelf-activiteiten meestal plaatsvinden. Voorbeelden: Garage, Tuin, Keuken, Badkamer, Balkon
- DIYActiviteit: Dit zijn de taken of handelingen die te maken hebben met Doe-Het-Zelf en woningverbetering. Voorbeelden: Schilderen, Installeren, Schoonmaken, Tuinieren, Isolatiewerk
- Kleur: Deze categorie omvat elke vermelde kleur of tint. Voorbeelden: Crèmewit, Blauwblauw, Lichtgrijs, Matzwart, Felgeel
De volledige pijplijn evalueren (NER & NEL)
We beoordeelden de algemene prestaties aan de hand van:
- Precisie: Correct geïdentificeerde en gekoppelde entiteiten / alle geïdentificeerde en gekoppelde entiteiten.
- Terugroepen: Correct geïdentificeerde en gekoppelde entiteiten / alle werkelijke entiteiten.
- F1 Score: Een evenwichtige maatstaf voor precisie en recall.
- Fuzzy Match Metrics (afstanden 1, 2, 3): We scoren fouten aan de hand van hun hiërarchische afstand tot het ware label: afstand 1 voor directe buren, afstand 2 voor het volgende niveau, enz. Een foute voorspelling wordt nog steeds "geaccepteerd" als deze binnen de toegestane afstand ligt, waardoor bijna-ongelukken eerlijker worden weergegeven.
Evaluatie met behulp van een Fuzzy Metric
Evaluatie van NER: We vergeleken stammen van geëxtraheerde entiteiten met stammen van de grondwaarheid (hoofdletterongevoelig). Onze NER extraheert opzettelijk voor een hoge recall.
Evaluatie van NEL: Uitgaande van een perfecte NER hebben we ons gericht op de nauwkeurigheid van het koppelingsproces met behulp van dezelfde meetgegevens als de volledige pijplijn, inclusief fuzzy matching.
Belangrijkste bevindingen: Veelbelovende resultaten en groeigebieden
Hier zijn de prestatiecijfers van onze pijplijn
Volledige pijplijn (Exacte match)
Prestatiecijfers van de NER/NEL-pijplijn (Exacte match)
- Wereldwijde entiteiten: Sterke precisie, lagere recall (gebalanceerde F1).
- Lokale entiteiten: Gevarieerde prestaties. ProductSet (hoofdcategorie) liet een solide balans zien (Precision: 58,9%, Recall: 61,74%, F1: 60,29%). Kleur presteerde ook goed. HomeSpace heeft verbetering nodig in precisie.
Volledige pijplijn (Fuzzy Match)
Prestaties met behulp van verschillende fuzzy-metrieken
Fuzzy metrics verbeteren aanzienlijk naarmate de afstand toeneemt. Dit laat duidelijk zien dat voorspellingen die als onjuist worden beschouwd bij exacte overeenkomsten nog steeds relatief dicht bij de werkelijke waarde liggen binnen de grafiekhiërarchie.
NER:
Zoals verwacht behaalden we een hoge recall maar een lagere precisie door onze over-extractie strategie.
NEL:
De NEL-component verfijnde effectief de entiteitkoppeling 🔗 na NER.
Conclusie: Bouwen aan een slimmer doe-het-zelf ecosysteem
Dit project markeert een belangrijke stap in het gebruik van AI om de doe-het-zelf ervaring op de website van Leroy Merlin te verrijken. Door met succes een pijplijn te bouwen om DIY-artikelen te koppelen aan Adeo's Knowledge Graph, hebben we de basis gelegd voor slimmer zoeken, gepersonaliseerde aanbevelingen en rijkere inhoud.
Hoewel de eerste resultaten veelbelovend zijn (vooral voor ProductSet), hebben we gebieden geïdentificeerd die voor optimalisatie in aanmerking komen, zoals het verbeteren van de precisie van HomeSpace. Ons besluit om LLM's te gebruiken voor snelle initiële annotatie is een waardevolle strategie geweest, die het genereren data voor toekomstige modeltraining en -verbeteringen heeft versneld.
De voortdurende samenwerking tussen Adeo, Google en Artefact blijft retailinnovatie stimuleren. Dit Knowledge Graph-verrijkingsinitiatief laat de kracht zien van het combineren van domeinkennis met geavanceerde AI om een intuïtievere en waardevollere ervaring te creëren voor doe-het-zelvers. Naarmate onze pijplijn zich verder ontwikkelt met verdere verfijningen en mogelijk meer geavanceerde modellen zoals Gemini 2.5 Pro, zal de verbinding tussen inhoud en kennis alleen maar sterker worden, waardoor de klanten van Leroy Merlin nog beter in staat zullen zijn om hun huis te verbeteren.
