Contexto
A ADEO desenvolveu um extenso Knowledge Graph que abrange todo o seu catálogo de produtos. Ao mesmo tempo, a empresa publica uma grande quantidade de artigos de bricolagem em seu site. No entanto, esses artigos permanecem desconectados do Knowledge Graph, o que nos impede de identificar com precisão quais produtos ou entidades da taxonomia são referenciados no conteúdo. Ao vincular esses artigos ao Knowledge Graph, a ADEO poderia elevar significativamente a experiência do usuário por meio de recursos de pesquisa mais inteligentes, recomendações personalizadas e conteúdo mais envolvente e enriquecido.
Essa iniciativa marca o mais recente capítulo de uma colaboração bem-sucedida e duradoura entre a Adeo, o Google e a Artefact. Construído sobre uma base de experiência compartilhada em data, varejo e tecnologia de ponta, esse projeto representa uma evolução natural em nossa jornada para inovar o cenário do varejo digital. O alinhamento estratégico com o Google tem sido fundamental para fornecer as ferramentas e a infraestrutura necessárias para enfrentar esse ambicioso empreendimento.
A pedra angular: O potencial do Knowledge Graph e do artigo DIY da Adeo
No centro desse projeto está o robusto Knowledge Graph da Adeo, um sofisticado banco de dados gráfico que abriga a taxonomia da empresa, que é uma forma estruturada de classificar e categorizar informações. Essa rede de pontos data interconectados, atualmente composta por cerca de 500.000 relações com 23.000 assuntos exclusivos, 41 predicados e 225.000 objetos, representa uma riqueza de informações sobre produtos, categorias e seus relacionamentos. Aqui estão exemplos simples de relações que você pode encontrar nesse gráfico de conhecimento:
Exemplos de entidades e relacionamentos
No entanto, uma parte significativa de informações valiosas reside nos inúmeros artigos do tipo "faça você mesmo" (DIY) publicados no site da Leroy Merlin. Esses artigos, repletos de conselhos e instruções práticas, frequentemente mencionam entidades já presentes no Knowledge Graph do Adeo. O desafio? Não havia uma maneira automatizada de identificar essas menções e criar os vínculos essenciais entre o conteúdo textual e o conhecimento estruturado.
Preencher essa lacuna revela um valor comercial significativo, especialmente no contexto de uma transformação contínua de AI e AI de geração. Extraindo automaticamente entidades de artigos e outros data textuais e vinculando-os ao Knowledge Graph e, portanto, enriquecendo-o, podemos:
- Melhore a relevância da pesquisa: Habilite a pesquisa semântica, permitindo que os usuários encontrem artigos com base nos conceitos subjacentes e não apenas em palavras-chave.
- Aprimore as recomendações de produtos: Entenda as entidades discutidas em um artigo para recomendar produtos, ferramentas e materiais relevantes diretamente ao leitor.
- Enriqueça e personalize o conteúdo: Enriqueça dinamicamente os artigos com links para entidades relevantes no Knowledge Graph, fornecendo aos usuários um contexto mais profundo e informações relacionadas.
Navegando pelo cenário: NER e NEL com LLMs
A tarefa em questão - identificar e vincular menções de entidades em um texto a uma base de conhecimento predefinida - se enquadra nos domínios bem estabelecidos de Reconhecimento de Entidades Nomeadas (NER) e Vinculação de Entidades Nomeadas (NEL). Tradicionalmente, o alto desempenho exigia o treinamento de modelos especializados em conjuntos de dados grandes e rotulados. Embora existam modelos NER/NEL avançados, sua natureza de data representou um desafio para nossas necessidades de implantação rápida.
Por isso, optamos por uma abordagem diferente: aproveitar o poder dos modelos de linguagem grande (LLMs) para criar nosso pipeline de extração. Embora os LLMs exijam poucos ou nenhum data de treinamento específico da tarefa, o que permite uma implementação e iteração mais rápidas, eles ainda exigem data anotados para avaliação. Para isso, a equipe da Adeo criou um conjunto de validação abrangente, o que exigiu um esforço humano significativo e um profundo conhecimento comercial. Esse conjunto de dados é essencial para medir de forma confiável o desempenho do pipeline.
Nosso objetivo principal não era a precisão perfeita desde o início. Em vez disso, nos concentramos na criação de um pipeline funcional para fornecer texto pré-anotado a rotuladores humanos. Isso acelera significativamente o processo de anotação, tornando o ajuste fino futuro de modelos especializados muito mais eficiente.
Nosso modelo inovador de dois estágios
Para lidar com NER e NEL, desenvolvemos um pipeline robusto de dois estágios
O pipeline NER/NEL de dois níveis
1. Reconhecimento de entidades nomeadas (NER): Identificar entidades candidatas
Esse estágio identifica menções de entidades relevantes em artigos do DIY usando um LLM. Lidamos com o tamanho do artigo com o Text Chunking: artigos longos são divididos em partes gerenciáveis (500 palavras) para um contexto LLM consistente e melhor desempenho. Nosso processo de NER usa uma estratégia de dois níveis:
- Entidades locais: Para menções específicas do contexto, cada bloco de 500 palavras passa por uma extração de dupla passagem para refinamento (tipo de cadeia de pensamentos ) usando um LLM. Os resultados de todos os blocos são então combinados.
- Entidades globais: Para temas abrangentes, o texto completo é processado (novamente com extração dupla usando um LLM) para obter uma cobertura abrangente.
Essa abordagem em duas camadas garante a captura eficaz de detalhes granulares e conceitos amplos.
2. Ligação de entidades nomeadas (NEL): Conectando os pontos ao gráfico de conhecimento
Depois que as entidades são extraídas, a NEL as desambigua e as vincula à entrada mais relevante do Knowledge Graph. Isso envolve:
Geração de candidatos
Para cada entidade extraída, geramos possíveis correspondências do KG usando um armazenamento de vetores e incorporação de texto. Apenas os candidatos mais semelhantes semanticamente são mantidos. Usamos o modelo GCP text-multilingual-embedding-002 com um banco de dados de vetores para essa tarefa.
Para ilustrar isso, imagine que o estágio NER extraia a entidade candidata "luvas de lona leves" de um trecho de texto:
"[...] você pode escolher luvas de lona leves. Se você trabalha com as mãos no solo [...]".
Na etapa de geração de candidatos, o sistema recupera possíveis correspondências do gráfico de conhecimento com base na similaridade semântica. Isso pode gerar uma lista classificada de candidatos, como "luvas descartáveis" (classificação 1), "luvas de trabalho" (classificação 2), ..., "luvas de jardinagem" (classificação 9) e "luvas para manuseio de vidro" (classificação 10), entre outros.
Reranking semântico
Os candidatos pré-selecionados são classificados novamente por um LLM que analisa o contexto da entidade no artigo. Somente a melhor correspondência continua. Descobrimos que 25 candidatos é o número ideal para a reclassificação.
Continuando com o nosso exemplo, o LLM agora analisaria o texto ao redor "...Se você trabalha com as mãos no solo..." e usaria esse contexto para classificar os candidatos. Devido à menção do trabalho com o solo, "gardening gloves" (luvas de jardinagem) provavelmente seria promovido ao topo da lista como o candidato semanticamente mais relevante.
Classificação hierárquica
O candidato selecionado é posicionado na hierarquia do KG. Outro LLM pode manter a seleção ou substituí-la por um pai, filho ou irmão mais adequado com base no contexto. Um limite de classificação hierárquica de 100 garante que toda a hierarquia seja considerada.
Considere a seguinte hierarquia simplificada no Knowledge Graph:
Nessa etapa, o sistema verifica se "gardening gloves" (luvas de jardinagem) é o nível de especificidade mais adequado. Embora seja uma boa correspondência em nosso exemplo, se o contexto tivesse sido mais amplo, simplesmente mencionando a necessidade de proteção das mãos sem o contexto de jardinagem, a classificação hierárquica poderia promover a entidade ancestral "gloves" (luvas) e vinculá-la à entrada KG correspondente.
Esse processo de NEL em várias etapas garante uma ancoragem precisa e significativa no Knowledge Graph.
Medindo o sucesso: Nossa metodologia de avaliação
Para garantir a eficácia do nosso pipeline de enriquecimento do gráfico de conhecimento para os artigos de bricolagem da Leroy Merlin, implementamos uma avaliação robusta em relação a um conjunto de dados de verdade básica cuidadosamente construído contendo entidades do gráfico de conhecimento Adeo.
Essa avaliação se concentra especificamente na capacidade do pipeline de identificar e vincular quatro classes de entidades importantes: ProductSet, HomeSpace, DIYActivity e Color, tanto em nível global quanto local nos artigos:
- Conjunto de produtos: São ferramentas, materiais ou produtos compráveis usados para melhoria da casa, jardinagem ou tarefas de bricolagem. Exemplos: Esmeril de concreto, bomba de calor ar-ar, avental de jardinagem, lâmpada de mesa, termostato inteligente
- HomeSpace: Representam áreas ou cômodos em uma casa ou jardim onde normalmente ocorrem atividades de bricolagem. Exemplos: Garagem, jardim, cozinha, banheiro, varanda
- DIYActivity (Atividade de bricolagem): Essas são as tarefas ou operações relacionadas ao "faça você mesmo" e à melhoria da casa. Exemplos: Pintura, instalação, limpeza, jardinagem, trabalho de isolamento
- Cor: essa categoria inclui qualquer cor ou tonalidade mencionada. Exemplos: Branco cremoso, azul-petróleo, cinza claro, preto fosco, amarelo brilhante
Avaliação do pipeline completo (NER e NEL)
Avaliamos o desempenho geral usando:
- Precisão: Entidades corretamente identificadas e vinculadas / todas as entidades identificadas e vinculadas.
- Recuperação: Entidades corretamente identificadas e vinculadas / todas as entidades reais.
- Pontuação F1: Uma medida equilibrada de precisão e recuperação.
- Métricas de correspondência difusa (distâncias 1, 2, 3): Pontuamos os erros por sua distância hierárquica do rótulo verdadeiro: distância 1 para vizinhos diretos, distância 2 para o próximo nível etc. Uma previsão errada ainda "passa" se estiver dentro do raio permitido, capturando os quase erros de forma mais justa.
Avaliação usando uma métrica Fuzzy
Avaliação do NER: comparamos as entidades extraídas com haste com a verdade terrestre com haste (sem distinção entre maiúsculas e minúsculas). Nosso NER intencionalmente extrai em excesso para obter uma alta recuperação.
Avaliação do NEL: presumindo um NER perfeito, nos concentramos na precisão do processo de vinculação usando as mesmas métricas do pipeline completo, incluindo a correspondência difusa.
Principais conclusões: Resultados promissores e áreas de crescimento
Aqui estão as métricas de desempenho de nosso pipeline
Pipeline completo (correspondência exata)
Métricas de desempenho do pipeline NER/NEL (correspondência exata)
- Entidades globais: Forte precisão, menor recuperação (F1 equilibrado).
- Entidades locais: Desempenho variado. ProductSet (categoria principal) mostrou um equilíbrio sólido (Precisão: 58,9%, Recuperação: 61,74%, F1: 60,29%). A cor também teve um bom desempenho. O HomeSpace precisa melhorar a precisão.
Pipeline completo (Fuzzy Match)
Desempenho usando diferentes métricas difusas
As métricas difusas melhoram significativamente à medida que a distância aumenta. Isso mostra claramente que as previsões consideradas incorretas na correspondência exata ainda estão relativamente próximas do valor real na hierarquia do gráfico.
NER:
Como esperado, obtivemos um alto índice de recall, mas uma precisão menor devido à nossa estratégia de extração excessiva.
NEL:
O componente NEL refinou efetivamente a vinculação de entidades 🔗 após o NER.
Conclusão: Criando um ecossistema DIY mais inteligente
Esse projeto marca um passo significativo no uso da AI para enriquecer a experiência de bricolagem no site da Leroy Merlin. Ao criar com sucesso um pipeline para vincular artigos de bricolagem ao Knowledge Graph da Adeo, lançamos as bases para uma pesquisa mais inteligente, recomendações personalizadas e conteúdo mais rico.
Embora os resultados iniciais sejam promissores (especialmente para o ProductSet), identificamos áreas de otimização, como o aprimoramento da precisão do HomeSpace. Nossa decisão de usar LLMs para anotação inicial rápida foi uma estratégia valiosa, acelerando a geração de data para treinamento e aprimoramento de modelos futuros.
A colaboração contínua entre a Adeo, o Google e a Artefact continua a impulsionar a inovação no varejo. Essa iniciativa de enriquecimento do Knowledge Graph mostra o poder da combinação de conhecimento de domínio com AI de ponta para criar uma experiência mais intuitiva e valiosa para os entusiastas da bricolagem. À medida que nosso pipeline evolui com mais refinamentos e modelos potencialmente mais avançados, como o Gemini 2.5 Pro, a conexão entre conteúdo e conhecimento só se fortalecerá, capacitando ainda mais os clientes da Leroy Merlin em suas jornadas de melhoria doméstica.
