![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/04\/Medium-Blog.png\" "\\"Medium")
<\/span><\/div><\/div><\/div>NIEUWS \/ AI TECHNOLOGIE<\/p>\n<\/div>
25 november 2020
\nAdviseurs van callcenters beginnen NLU in hun dagelijks leven te zien opduiken, zodat ze de verzoeken van klanten gemakkelijker kunnen beantwoorden. Om dat te kunnen doen, moet een hulpmiddel in staat zijn om tegelijkertijd het verzoek van de klant en de kenmerken ervan te herkennen, met andere woorden, een intentie en named-entities.<\/p>\n<\/div><\/div><\/div><\/div><\/div>
\u201cOK Google, speel de Rolling Stones af op Spotify.\u201d, \u201cAlexa, wat voor weer is het vandaag in Parijs?\u201d, \u201cSiri, wie is de Franse president?\u201d.\u201d<\/em><\/p>\n Als u ooit stemassistenten hebt gebruikt, hebt u indirect enkele Natural Language Understanding (NLU) processen toegepast. Dezelfde logica geldt voor chatbotassistenten of geautomatiseerde routering van tickets in de klantenservice. NLU maakt al enige tijd deel uit van ons dagelijks leven en dat zal waarschijnlijk niet stoppen.<\/span><\/p>\n Door bijvoorbeeld de extractie van klantintentie te automatiseren, kan NLU ons helpen om de verzoeken van onze klanten sneller en nauwkeuriger te beantwoorden. Daarom is elk groot bedrijf begonnen met de ontwikkeling van een eigen oplossing. Maar met alle bibliotheken en modellen die er op NLU-gebied bestaan en die allemaal state-of-the-art of gemakkelijk te behalen resultaten claimen, is het soms ingewikkeld om je weg te vinden. Omdat we met verschillende bibliotheken hebben ge\u00ebxperimenteerd in onze NLU-projecten op Artefact, wilden we onze resultaten delen en u helpen een beter inzicht te krijgen in de huidige NLU-tools.<\/span><\/p>\n Wat is NLU?<\/strong><\/span><\/p>\n Natural Language Understanding (NLU) wordt gedefinieerd door\u00a0Gartner<\/a>\u00a0als \u201chet begrijpen door computers van de structuur en betekenis van menselijke taal (bijv.<\/em>, Engels, Spaans, Japans), waardoor gebruikers met de computer kunnen communiceren door middel van natuurlijke zinnen\u201d. Met andere woorden, NLU is een subdomein van artificial intelligence dat de interpretatie van tekst mogelijk maakt door deze te analyseren, om te zetten in computertaal en een uitvoer te produceren in een voor mensen begrijpelijke vorm.<\/p>\n Als u goed kijkt naar hoe chatbots en virtuele assistenten werken, van uw verzoek tot hun antwoord, is NLU \u00e9\u00e9n laag die uw hoofdintentie en alle informatie die belangrijk is voor de machine eruit haalt, zodat deze uw verzoek het beste kan beantwoorden. Stel dat u de klantenservice van uw favoriete merk belt om te weten of uw droomtas eindelijk beschikbaar is in uw stad: NLU zal de assistent vertellen dat u een productbeschikbaarheidsverzoek hebt en het specifieke item opzoeken in de product database om uit te zoeken of het beschikbaar is op de door u gewenste locatie. Dankzij NLU hebben we een intentie, een productnaam en een locatie ge\u00ebxtraheerd.<\/p>\n (Hierboven: illustratie van een klantintentie en verschillende entiteiten die uit conversatie worden gehaald)<\/em><\/p><\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n Natuurlijke taal zit ingebakken in de data van de meeste bedrijven en met de recente doorbraken op dit gebied, gezien de democratisering van de NLU-algoritmen, de toegang tot meer rekenkracht & meer data, zijn er veel NLU-projecten gestart. Laten we er \u00e9\u00e9n bekijken.<\/span><\/p>\n Projectpresentatie<\/span><\/strong><\/p>\n Een typisch project waarbij NLU wordt gebruikt is, zoals eerder vermeld, het helpen van callcenteradviseurs bij het beantwoorden van verzoeken van klanten terwijl het gesprek vordert. Hiervoor zouden we twee verschillende taken moeten uitvoeren:<\/span><\/p>\n Toen we voor het eerst keken naar de eenvoudige en kant-en-klare oplossingen die voor deze twee taken zijn uitgebracht, vonden we meer dan een dozijn frameworks, sommige ontwikkeld door GAFAM, sommige door open-source platformmedewerkers. Onmogelijk om te weten welke te kiezen voor onze use case, hoe elk van hen presteert op een concreet project en echte data, hier callcenter audiogesprekken omgezet in tekst. Daarom hebben we besloten om onze prestatiebenchmark te delen met enkele tips en voor- en nadelen voor elke oplossing die we hebben getest.<\/span><\/p>\n Het is belangrijk om op te merken dat deze benchmark gedaan is met Engelse data en getranscribeerde spraaktekst en daarom minder gebruikt kan worden als referentie voor andere talen of toepassingen die direct geschreven tekst gebruiken, <\/span><\/i>bijv.<\/span> chatbot-gebruiksgevallen.<\/span><\/i><\/p>\n<\/div><\/div><\/div><\/div><\/div> Benchmark<\/strong><\/span><\/p>\n Opsporing van intenties <\/strong><\/p>\n Het doel is hier om te kunnen detecteren wat de klant wil, zijn\/haar intentie. Als een zin wordt gegeven, moet het model deze in de juiste klasse kunnen indelen, waarbij elke klasse overeenkomt met een vooraf gedefinieerde bedoeling. Als er meerdere klassen zijn, wordt dit een multiklasse classificatietaak genoemd. Een intentie kan bijvoorbeeld zijn \u201cwilProduct kopen\u201d of \u201czoektInformatie\u201d. In ons geval hadden we het volgende gedefinieerd <\/span>5 verschillende intenties<\/b> en de zes volgende oplossingen werden gebruikt voor de benchmark:<\/span><\/p>\n De volgende modellen zijn allemaal getraind en getest op dezelfde datasets: 1600 uitingen voor training, 400 voor testen. De modellen zijn niet verfijnd, dus sommige modellen zouden mogelijk betere prestaties kunnen leveren dan wat hieronder wordt gepresenteerd.<\/span><\/p>\n *Inferentietijd op lokale Macbook Air (1,6 GHz dual-core Intel Core i5-8 Go 1600 MHz DDR3 RAM).<\/em><\/p>\n Entiteiten extractie<\/span><\/strong><\/p>\n Het doel is om specifieke woorden te kunnen vinden en ze correct in te delen in vooraf gedefinieerde categorie\u00ebn. Nadat u hebt gedetecteerd wat uw klant wil doen, kan het zijn dat u meer informatie in zijn\/haar verzoek moet vinden. Als een klant bijvoorbeeld iets wil kopen, wilt u misschien weten welk product het is, in welke kleur, of als een klant een product wil retourneren, wilt u misschien weten op welke datum of in welke winkel de aankoop is gedaan. In ons geval hadden we het volgende gedefinieerd <\/span>16 aangepaste entiteiten<\/b>9 productgerelateerde entiteiten (naam, kleur, type, materiaal, grootte, ...) en extra entiteiten met betrekking tot geografie en tijd. Voor intentiedetectie zijn verschillende oplossingen gebruikt om een benchmark te maken:<\/span><\/p>\n De volgende modellen zijn allemaal getraind en getest op dezelfde datasets: 1600 uitingen voor training, 400 voor testen. De modellen zijn niet verfijnd, dus sommige modellen zouden mogelijk betere prestaties kunnen leveren dan wat hieronder wordt gepresenteerd.<\/span><\/p>\n Conclusie<\/strong><\/span><\/p>\n Van de oplossingen die getest zijn op onze callcenter dataset, of het nu gaat om intentiedetectie of entiteitherkenning, springt er geen enkele uit qua prestaties. Onze ervaring is dat de keuze voor de ene oplossing boven de andere gebaseerd moet zijn op hun praktische bruikbaarheid en op uw specifieke gebruikssituatie (gebruikt u Azure al, hebt u liever meer vrijheid om uw modellen te verfijnen...). Ter herinnering: we hebben de bibliotheken gewoon genomen zoals ze zijn om deze benchmark te produceren, zonder de modellen te verfijnen, dus de weergegeven resultaten moeten met een kleine terugblik worden bekeken en zouden kunnen vari\u00ebren bij een andere use case of met meer training data.<\/span><\/p>\n<\/div><\/div><\/div><\/div><\/div>\n
\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/0OjPKI5wNoTgCuUKG.png\")
<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n
\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/0xOx9HfmdoP11xP-r.png\")
<\/p>\n<\/div>\n<\/div>\n<\/div>\n
![\"Image](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2024\/09\/0I1biKTnMgj7kziLM.png\")
![](\"https:\/\/www.artefact.com\/wp-content\/uploads\/2020\/06\/Global-Newsletter-Data-Digest_LinkedIn_600x315_april.jpg\" "\\"data-driven\\"")
<\/span><\/div><\/div><\/div>