Context
ADEO heeft een uitgebreidekennisgrafiek ontwikkeld die de volledige productcatalogus omvat. Tegelijkertijd organisatie de organisatie een schat aan doe-het-zelfartikelen op haar website. Deze artikelen staan echter los van de kennisgrafiek, waardoor we niet nauwkeurig kunnen vaststellen naar welke producten of entiteiten binnen de taxonomie in de inhoud wordt verwezen. Door deze artikelen aan de kennisgrafiek te koppelen, zou ADEO de gebruikerservaring aanzienlijk kunnen verbeteren door middel van slimmere zoekfuncties, gepersonaliseerde aanbevelingen en boeiendere, verrijkte inhoud.
Dit initiatief vormt het nieuwste hoofdstuk in een succesvolle en langdurige samenwerking tussen Adeo, Google en Artefact. Voortbouwend op onze gezamenlijke expertise op het gebied van data, detailhandel en geavanceerde technologie, betekent dit project een logische stap in ons streven om het digitale retaillandschap te vernieuwen. De strategische samenwerking met Google is van cruciaal belang geweest voor het beschikbaar stellen van de tools en infrastructuur die nodig zijn om dit ambitieuze project tot een succes te maken.
De hoeksteen: Adeo’s kennisgrafiek en het potentieel van doe-het-zelfartikelen
De kern van dit project wordt gevormd door de robuuste Knowledge Graph van Adeo – een geavanceerde grafische database waarin de taxonomie organisatieis ondergebracht – een gestructureerde manier om informatie te classificeren en te categoriseren. Dit netwerk van onderling verbonden data , dat momenteel bestaat uit ongeveer500.000 relaties met23.000 unieke onderwerpen,41 predikaten en225.000 objecten, vertegenwoordigt een schat aan informatie over producten, categorieën en hun onderlinge relaties. Hier volgen enkele eenvoudige voorbeelden van relaties die u in deze kennisgrafiek kunt aantreffen:
Voorbeelden van entiteiten en relaties
Een aanzienlijk deel van de waardevolle informatie is echter te vinden in de talrijkedoe-het-zelfartikelen die op de website van Leroy Merlin zijn gepubliceerd. Deze artikelen, boordevol praktisch advies en instructies, vermelden vaak entiteiten die al in de Knowledge Graph van Adeo voorkomen. De uitdaging? Er bestondgeen geautomatiseerde manier om deze vermeldingen te identificeren en de cruciale koppelingen te leggen tussen de tekstuele inhoud en de gestructureerde kennis.
Door deze kloof te overbruggen, ontstaat er aanzienlijkebedrijfswaarde, met name in het kader van de voortdurende AI AI generatieve AI . Door automatisch entiteiten uit artikelen en andere tekstuele data te extraheren data deze in de Knowledge Graph te koppelen – en deze daarmee te verrijken – kunnen we:
- De relevantie van zoekresultaten verbeteren:Schakelsemantisch zoeken in, zodat gebruikers artikelen kunnen vinden op basis van de onderliggende concepten in plaats van alleen op trefwoorden.
- Productaanbevelingen verbeteren:de entiteiten die in een artikel worden besproken, analyseren om de lezer direct relevante producten, hulpmiddelen en materialen aan te bevelen.
- Inhoud verrijken en personaliseren:Verrijk artikelen dynamisch met links naar relevante entiteiten in de Knowledge Graph, zodat gebruikers meer context en gerelateerde informatie krijgen.
Een overzicht van het landschap: NER en NEL met LLM’s
De taak die voor ons ligt – het identificeren van entiteiten in tekst en deze koppelen aan een vooraf gedefinieerde kennisbank – valt onder de gevestigde domeinen vanNamed Entity Recognition (NER)en Named Entity Linking (NEL). Van oudsher waren voor goede prestaties gespecialiseerde modellen nodig die waren getraind op grote, gelabelde datasets. Hoewel er krachtige NER/NEL-modellen bestaan,vormdehet data karakter ervan een uitdaging voor onze behoefte aan snelle implementatie.
Daarom hebben we voor eenandere aanpak gekozen: we maken gebruik van de kracht vanLarge Language Models (LLM’s)om onze extractiepijplijn te bouwen. Hoewel LLM’s weinig tot geen taakspecifieke data nodig hebben data wat een snellere implementatie en iteratie mogelijk maakt – hebben ze voor evaluatie welgeannoteerde datanodig. Daartoe heeft het Adeo-team een uitgebreidevalidatieset samengesteld, wat aanzienlijke menselijke inspanning en diepgaande zakelijke expertise vereiste. Deze dataset is essentieel voor het betrouwbaar meten van de prestaties van de pijplijn.
Ons voornaamste doel was niet om meteen vanaf het begin een perfecte nauwkeurigheid te bereiken. In plaats daarvan hebben we ons gericht op het opzetten van een functionele workflow omvooraf geannoteerde tekst aan menselijke annotatoren te leveren. Dit versnelt het annotatieproces aanzienlijk, waardoor het later veel efficiënter wordt om gespecialiseerde modellen verder te verfijnen.
Ons innovatieve tweefasige model
Om NER en NEL aan te pakken, hebben we een robuuste pijplijn in twee fasen ontwikkeld
De tweeledige NER/NEL-pijpleiding
1. Herkenning van benoemde entiteiten (NER): het opsporen van mogelijke entiteiten
In deze fase worden vermeldingen van relevante entiteiten in doe-het-zelfartikelen geïdentificeerd met behulp van een grootschalig taalmodel (LLM). We houden rekening met de lengte van de artikelen door middel van tekstsegmentatie:lange artikelen worden opgedeeld in hanteerbare stukken (500 woorden) om een consistente context voor het LLM te waarborgen en betere prestaties te behalen. Ons NER-proces maakt gebruik van een tweeledige strategie:
- Lokale entiteiten: Voor contextgebonden vermeldingen wordt elk fragment van 500 woorden twee keer door een groot taalmodel (LLM) gehaald om de resultaten te verfijnen (een soort ‘Chain of Thoughts’). De resultaten van alle fragmenten worden vervolgens samengevoegd.
- Wereldwijde entiteiten: Voor overkoepelende thema’s wordt de volledige tekst verwerkt (opnieuw met dubbele extractie met behulp van een LLM) om een zo volledig mogelijk beeld te krijgen.
Dankzij deze tweeledige aanpak kunnen we zowel gedetailleerde informatie als algemene concepten effectief vastleggen.
2. Named Entity Linking (NEL): de verbanden leggen in de kennisgrafiek
Zodra entiteiten zijn geëxtraheerd, verduidelijkt NEL de betekenis ervan en koppelt ze aan het meest relevante item in de Knowledge Graph. Dit houdt het volgende in:
🤝Genereren van kandidaten
Voor elke geëxtraheerde entiteit genereren we mogelijke overeenkomsten uit de kennisbank met behulp van een vectoropslag en tekstembeddings. Alleen de semantisch meest vergelijkbare kandidaten worden behouden. Voor deze taak hebben we gebruikgemaakt van het GCP-model„text-multilingual-embedding-002“in combinatie met een vector-database.
Om dit te illustreren: stel je voor dat de NER-fase de kandidaat-entiteit „lichte canvas handschoenen“ uit een tekstfragment haalt:
“[…] kun je kiezen voor lichtecanvas handschoenen.Als je met je handen in de aarde werkt […]”.
In de stap ‘Kandidaatgeneratie’ haalt het systeem op basis van semantische overeenkomst mogelijke overeenkomsten uit de kennisgrafiek. Dit kan een gerangschikte lijst met kandidaten opleveren, zoals ‘wegwerphandschoenen’ (rang 1), ‘werkhandschoenen’ (rang 2), …, ‘tuinhandschoenen’ (rang 9) en ‘handschoenen voor het hanteren van glas’ (rang 10), om er maar een paar te noemen.
🟧Semantische herrangschikking
De kandidaten op de shortlist worden opnieuw gerangschikt door een LLM die de context van de entiteit in het artikel analyseert. Alleen de beste match gaat door. We hebben vastgesteld dat 25 kandidaten het optimale aantal is voor deze herrangschikking.
Om ons voorbeeld voort te zetten: de LLM zou nu de omringende tekst “…Als je met je handen in de aarde werkt…” analyseren en deze context gebruiken om de resultaten opnieuw te rangschikken. Omdat er sprake is van werken met aarde, zouden ‘tuinhandschoenen’ waarschijnlijk naar de top van de lijst worden verplaatst als het semantisch meest relevante resultaat.
🌳Hiërarchische rangschikking
De geselecteerde kandidaat wordt in de hiërarchie van de KG geplaatst. Een andere LLM kan deze selectie handhaven of, afhankelijk van de context, vervangen door een geschiktere ouder, kind of broer of zus. Een drempelwaarde van 100 voor hiërarchische herrangschikking zorgt ervoor dat de volledige hiërarchie in aanmerking wordt genomen.
Bekijk de volgende vereenvoudigde hiërarchie in de Knowledge Graph eens:
In deze stap controleert het systeem of „tuinhandschoenen“ het meest geschikte specificiteitsniveau is. Hoewel dit in ons voorbeeld een goede match is, zou de hiërarchische rangschikking – als de context breder was geweest, bijvoorbeeld door alleen de behoefte aan handbescherming te noemen zonder de tuincontext – de bovenliggende entiteit „handschoenen“ naar voren kunnen halen en deze aan het bijbehorende KG-item koppelen.
Dit meerstaps NEL-proces zorgt voor een nauwkeurige en zinvolle verankering binnen de Knowledge Graph.
Succes meten: onze evaluatiemethode
Om de doeltreffendheid van onze verrijkingspijplijn voor de Knowledge Graph voor de doe-het-zelfartikelen van Leroy Merlin te waarborgen, hebben we een grondige evaluatie uitgevoerd aan de hand van een zorgvuldig samengesteldereferentiedataset met entiteiten uit de Adeo Knowledge Graph.
Deze evaluatie richt zich specifiek op het vermogen van de pijplijn om vier belangrijke entiteitsklassen te identificeren en aan elkaar te koppelen: ProductSet, HomeSpace, DIYActivity en Color, zowel op globaal als op lokaal niveau binnen de artikelen:
- Productset:Dit zijn gereedschappen, materialen of producten die te koop zijn en worden gebruikt voor klussen in huis, tuinieren of doe-het-zelfprojecten.Voorbeelden: Betonslijpmachine, Lucht-lucht-warmtepomp, Tuinschort, Bureaulamp, Slimme thermostaat
- HomeSpace:Dit zijn ruimtes of kamers in huis of in de tuin waar doorgaans kluswerkzaamheden plaatsvinden.Voorbeelden: garage, tuin, keuken, badkamer, balkon
- Kluswerk: Ditzijn taken of werkzaamheden op het gebied van doe-het-zelf en woningverbetering.Voorbeelden: schilderen, installeren, schoonmaken, tuinieren, isolatiewerkzaamheden
- Kleur:Deze categorie omvat alle genoemde kleuren of tinten.Voorbeelden: Romig wit, Blauwgroen, Lichtgrijs, Matzwart, Felgeel
Evaluatie van de volledige pijplijn (NER & NEL)
We hebben de algehele prestaties beoordeeld aan de hand van:
- Nauwkeurigheid:correct geïdentificeerde en gekoppelde entiteiten / alle entiteiten geïdentificeerd en gekoppeld.
- Herhaling:Correct geïdentificeerde en gekoppelde entiteiten / alle daadwerkelijke entiteiten.
- F1-score:een evenwichtige maatstaf voor precisie en recall.
- Fuzzy Match-statistieken (afstanden 1, 2, 3):We kennen fouten een score toe op basis van hun hiërarchische afstand tot het juiste label: afstand 1 voor directe buren, afstand 2 voor het volgende niveau, enzovoort. Een verkeerde voorspelling wordt nog steeds als ‘goedgekeurd’ beschouwd als deze binnen de toegestane straal valt, waardoor bijna-fouten eerlijker worden weergegeven.
Evaluatie met behulp van een fuzzy-maatstaf
Evaluatie van NER:We hebben de ontleedde entiteiten vergeleken met de ontleedde referentiegegevens (hoofdlettergevoelig). Onze NER haalt bewust te veel entiteiten naar voren om een hoge recall te bereiken.
Evaluatie van NEL: Uitgaande vaneen perfecte NER hebben we ons gericht op de nauwkeurigheid van het koppelingsproces, waarbij we dezelfde maatstaven hebben gehanteerd als bij de volledige pijplijn, inclusief fuzzy matching.
Belangrijkste bevindingen: veelbelovende resultaten en groeigebieden
Hieronder vindt u de prestatiestatistieken van onze pijplijn
Volledige pijplijn (exacte overeenkomst)
Prestatiestatistieken van de NER/NEL-pijplijn (Exact Match)
- Wereldwijde entiteiten:hoge precisie, lagere recall (gebalanceerde F1).
- Lokale entiteiten:wisselende prestaties.ProductSet(belangrijkste categorie) liet een solide balans zien (precisie: 58,9%, recall: 61,74%, F1: 60,29%). OokColorpresteerde goed.HomeSpacemoet op het gebied van precisie nog verbeterd worden.
Volledige pijplijn (grove overeenkomst)
Prestaties bij gebruik van verschillende fuzzy-maatstaven
De fuzzy-statistieken verbeteren aanzienlijk naarmate de afstand toeneemt. Dit toont duidelijk aan dat voorspellingen die bij een exacte overeenkomst als onjuist worden beschouwd, binnen de grafiekhiërarchie nog steeds relatief dicht bij de werkelijke waarde liggen.
NER:
Zoals verwacht hebben weeen hoge recallbehaald, maar een lagere precisie vanwege onze strategie van over-extractie.
NEL:
De NEL-componentheeft het koppelen van entiteiten🔗 na NER effectiefverfijnd.
Conclusie: Bouwen aan een slimmer doe-het-zelf-ecosysteem
Dit project betekent een belangrijke stap voorwaarts in het gebruik van AI de doe-het-zelf-ervaring op de website van Leroy Merlin te verrijken. Door met succes een koppeling te realiseren tussen doe-het-zelfartikelen en de Knowledge Graph van Adeo, hebben we de basis gelegd voor slimmere zoekresultaten, gepersonaliseerde aanbevelingen en rijkere inhoud.
Hoewel de eerste resultaten veelbelovend zijn (met name voor ProductSet), hebben we punten geïdentificeerd die voor verbetering vatbaar zijn, zoals het verhogen van de nauwkeurigheid van HomeSpace. Onze keuze om LLM’s in te zetten voor een snelle eerste annotatie is een waardevolle strategie gebleken, die data voor toekomstige modeltraining en -verbeteringen heeft versneld.
De voortdurende samenwerking tussen Adeo, Google en Artefact innovatie in de detailhandel stimuleren. Dit initiatief voor het verrijken van de Knowledge Graph laat zien hoe krachtig de combinatie van vakkennis en geavanceerde AI kan zijn AI een intuïtievere en waardevollere ervaring voor doe-het-zelvers te creëren. Naarmate onze pijplijn zich verder ontwikkelt met verdere verfijningen en mogelijk geavanceerdere modellen zoals Gemini 2.5 Pro, zal de koppeling tussen content en kennis alleen maar sterker worden, waardoor de klanten van Leroy Merlin nog beter worden ondersteund bij hun klussen in huis.
