Generative KI: Unternehmen stehen vor der Herausforderung der Industrialisierung

“Die Einführung des generativen artificial intelligence ist unter den französischen Unternehmen alles andere als einheitlich. Die Größe bleibt ein entscheidender Faktor. Aber die meisten großen Konzerne haben Maßnahmen ergriffen (Strategie, PoC, usw.); nur wenige hinken heute noch hinterher.”

Hanan Ouazan, Leiter Generative KI bei Artefact

Im Gegensatz dazu sind VSEs und KMUs zögerlicher. “Nicht alle Unternehmen sind auf der gleichen Wellenlänge”, sagt Hanan. “Große Unternehmen sind die ersten, die das Thema aufgreifen. Aber das bedeutet nicht, dass die ‘großen Jungs’ die Technologie erfolgreich gezähmt haben.”

“Schon vor einem Jahr haben wir die Hauptschwierigkeit von generativen KI-Projekten vorausgesehen, nämlich ihre Industrialisierung. [...] Vor ein paar Jahren dauerte ein PoC im [klassischen] artificial intelligence drei bis vier Monate. Für GenAI könnten zwei bis drei Wochen ausreichen. Die Industrialisierung hingegen ist eine ganz andere Geschichte. Die Unternehmen erkennen die Grenzen von PoC-Initiativen.”

Hinzu kommt das Problem der Akzeptanz, insbesondere bei ”eingebetteten KI”-Lösungen wie Kopiloten. Die Nutzung ist nicht selbstverständlich. Außerdem muss der ROI dieser Tools erst noch ermittelt werden.
Auch firmeninterne Lösungen, d.h. “selbst gemacht“ im Gegensatz zu ”gekauft", sind nicht immun gegen Adoptionsprobleme.

Trotz dieser Hindernisse erweisen sich einige Sektoren als dynamisch, wenn es um generative KI geht, darunter der Einzelhandel und Luxusgüter. Auch wenn die Fortschritte bei letzteren laut dem GenAI-Spezialisten von Artefact geringer sind als ursprünglich erwartet. Das Bankwesen und das Gesundheitswesen hinken angeblich weiter hinterher, aber das ist vor allem auf cloud und Compliance-Probleme zurückzuführen.

Auch auf Branchenebene sind Fortschritte in zwei Geschwindigkeiten zu beobachten. Hanan zufolge ist die Industrie im Rennen um die Einführung der Technologie führend.

Aber selbst bei den ausgereiftesten Akteuren bleiben die Industrialisierung und die Skalierung (in Bezug auf Einführung und Technologie) Hindernisse. Anwendungsfälle konzentrieren sich auf Retrieval-Augmented Generation (RAGs) zum Auffinden von Dokumenten in “häufig vernachlässigten data-Datenbanken”.”

Die Indizierung von Inhalten zielt sowohl auf interne (für die Produktivität) als auch auf externe (über Konversationsschnittstellen) Anwendungen ab. Hanan nennt das Beispiel eines Herstellers, der an einem Projekt beteiligt war, um seinen Produktkatalog für Kunden online zugänglich zu machen - über einen Chatbot.

Im Einzelhandel wird generative KI eingesetzt, um die Suche neu zu denken. Die Suche 2.0, die auf GenAI basiert, würde das Sucherlebnis durch das Ausdrücken eines Bedürfnisses verändern.

Ohne den Namen des Einzelhändlers zu nennen, arbeitet Artefact an der Entwicklung einer Lösung, die auf einer absichtlichen Suche basiert. “Morgen wird die Suche Teil einer Erlebnislogik sein”, prognostiziert der generative AI Lead.

Eine dritte Kategorie von Anwendungsfällen ist die Automatisierung. Dazu gehört die Analyse von Nachrichten und Protokollen von Callcentern der Vertriebshändler, um Störfaktoren oder Probleme zu identifizieren.

“Wir sammeln alle Anrufe, transkribieren sie und analysieren sie dann, um ein Dashboard zu erstellen. Mit dieser Ansicht können wir zum Beispiel sehen, dass 3.000 Anrufe ein bestimmtes Produkt betreffen, das die Kunden für kleiner halten als auf dem Produktblatt abgebildet. Sie können bis auf diese Ebene der Details gehen.”

Bisher war diese Stimmungsanalyse nur unzureichend effektiv. Jetzt kann sie sogar Ironie erkennen.

Die Automatisierung umfasst auch Anwendungen wie die Trendanalyse in sozialen Netzwerken oder die data-Erfassung in Echtzeit für das Back-Office von Banken und Versicherungen.

Die vierte Familie ist die Kreativität. “Dieser Bereich ist noch nicht so weit fortgeschritten, wie ich erwartet hatte, aber er beginnt sich zu entwickeln”, bemerkt Hanan. Artefact arbeitet mit Kunden zusammen, um das Direktmarketing zu automatisieren, z. B. durch die Personalisierung (“Kontextualisierung”) von SMS-Nachrichten, um Abonnements auf der Grundlage von Kriterien wie dem Gerät des Empfängers zu generieren.

Auch die Bilderzeugung für die Werbung ist im Kommen. Diese Anwendungen werden jedoch durch die Rechtsunsicherheit in Bezug auf das Urheberrecht und das Training data für bildgenerierende KI behindert. Die von einigen Verlagen, darunter Adobe, versprochenen rechtlichen Garantien könnten die Hindernisse in diesem Bereich beseitigen.

Die Anwendungen der generativen KI sind inzwischen gut formalisiert. Die Auswirkungen in Bezug auf die tatsächliche Transformation müssen jedoch qualifiziert werden, da nur wenige Projekte in Produktion sind und noch weniger für Endnutzer zugänglich sind.

“Es gibt eine Fülle von sicheren Tools vom Typ GPT. Aber es ist nicht das Schwierigste, etwas zu entwickeln. Und da es sich um interne Anwendungen handelt, sind die Risiken begrenzt.”

Für Hanan Ouazan ist der Grund für diese Einschätzung 2024 klar: die Komplexität der Industrialisierung. Dafür gibt es eine Reihe von Gründen, nicht zuletzt die Kosten: Die Nutzungsgebühren können schnell eskalieren.

Allerdings haben nicht alle Unternehmen den ROI ihrer Anwendungsfälle vorhergesehen. Die Nutzung von LLMs führt zu Ausgaben, die die Einnahmen bei weitem übersteigen, ob sie nun vorhergesehen wurden oder nicht. Und obwohl der Preis pro Nutzung dieser Lösungen im letzten Jahr deutlich gesunken ist, machen sie die Anwendungen komplexer und im Laufe der Zeit schwieriger zu pflegen.

Dieses Kostenproblem kann mit einer “Optimierungslogik” angegangen werden, um beispielsweise die Kosten für eine Chatbot-Konversation zu senken. Ein Chat wird nach dem Umfang von Frage und Antwort abgerechnet. Und jede neue Frage fügt dem Verlauf der Konversation hinzu, wodurch die Gesamtkosten jeder Anfrage steigen.

“Für einen Industriekunden überwachen wir jede Chatbot-Interaktion. So können wir Kosten und Ursachen messen. Es könnte zum Beispiel sein, dass der Chatbot Schwierigkeiten hat, ein Produkt zu identifizieren, was zu einer Vervielfachung der Austauschvorgänge führt. Die Überwachung ist wichtig, um Korrekturmaßnahmen zu ergreifen.”

Auch die Benutzerfreundlichkeit ist ein wichtiger Parameter. Um dies zu gewährleisten, ist die Latenzzeit wichtig, aber sie hat ihren Preis. Auf Azure kann es erforderlich sein, Provisioned Throughput Units (PTUs) zu abonnieren, “dedizierte und teure verwaltete Ressourcen”.”

Hanan Ouazan nennt auch die Qualität als eine Herausforderung für die Industrialisierung. Qualität zu messen und zu überwachen bedeutet, “die richtigen Bewertungsbausteine einzusetzen [...] Auf bestimmten sensiblen Benutzerpfaden setzen wir eine KI ein, deren Aufgabe es ist, die Antwort einer anderen KI zu validieren. Bewertungsprozesse in Echtzeit stellen sicher, dass die Qualität der Antworten der generativen KI erhalten bleibt”, erklärt er. “Wir integrieren auch Feedback-Schleifen, die die Antworten der Nutzer nutzen, um die Ergebnisse zu verbessern.”

Die Industrialisierung stößt schließlich auf das menschliche Hindernis. Der Erfolg in dieser Phase erfordert Prozessänderungen. Der Wechsel von einem traditionellen Chatbot zu einer Version, die auf generativer KI basiert, verändert zum Beispiel den Beruf des Kundenbetreuers.

“Ein solcher Wandel muss unterstützt werden, insbesondere bei der Validierung von Chatbot-Antworten. Ein Teil des Gesprächs kann einer KI zur Validierung anvertraut werden. Und wenn ein Mensch eingreift, ist es besser, ihn zu unterstützen, um die Bearbeitungszeit zu verkürzen. Und wenn ein Mensch Kommentare abgibt, muss die KI lernen, um einen positiven Kreislauf in Gang zu setzen.”

Hanan ruft auch dazu auf, die Benutzerakzeptanz zu fördern und die Benutzererfahrung im Auge zu behalten. “Eine Adoption sollte nicht schmerzhaft sein. Dies ist der Ansatz Artefact, der in einem Projekt zur Verbesserung der data-Qualität in einem Produkt database für einen Hersteller umgesetzt wurde. Der Einzelne sollte sich nicht an die generative KI anpassen müssen. Es liegt an der KI, sich an sie anzupassen, insbesondere an die Art und Weise, wie sie arbeiten.”

So überdachte Artefact sein Produkt datasheet generation solution, das ursprünglich direkt in das PIM integriert werden sollte - ein Tool, das von den Mitarbeitern des zitierten Projekts wenig geschätzt wurde.

“Unsere Methode für generative KI-Projekte besteht darin, ein Unternehmen auszuwählen und seine täglichen Aufgaben zu identifizieren, um diejenigen zu unterscheiden, bei denen KI den Menschen ersetzen oder das Werkzeug modifizieren wird. Die Herausforderung besteht darin, das zu automatisieren, was automatisiert werden kann, und das zu steigern, was unter menschlichen Arbeitsbedingungen gesteigert werden kann. Und das geht nicht ohne Interaktion mit dem Zielbenutzer. Andernfalls wird die Akzeptanz gleich null sein..”

Wie sieht es mit einer schnellen Schulung aus? Für Hanan dreht sich alles um den Benutzer. Artefact schult Mitarbeiter in der CRAFT-Methode (Kontext, Rolle, Aktion, Format, Zielpublikum), die den richtigen Einsatz von KI definiert. Für reifere Benutzer ist es möglich, sie in der Bedienung von Modellen und den Tools, die sie integrieren, zu schulen. Einige Bevölkerungsgruppen sind jedoch noch an die Verwendung von Schlüsselwörtern gewöhnt.

Das Unternehmen schult seine Mitarbeiter über die Möglichkeit, Abfragen in natürlicher Sprache zu stellen. Es hat auch eine Umformulierung eingeführt. Wenn Schlüsselwörter (Puk-Code) eingegeben werden, formuliert das Tool um: “Suchen Sie nach Ihrem Puk-Code?”

“Es gibt einen Schieberegler, der je nach der Bevölkerungsgruppe, für die das Tool bestimmt ist, angepasst werden muss. Aber ich denke, wenn sich die Fähigkeiten der generativen KI-Lösungen verbessern, wird es irgendwann nicht mehr nötig sein, eine Eingabeaufforderung zu erstellen”, erklärt Hanan.

Im Jahr 2024 gibt es im Bereich der generativen KI zwei Hauptbereiche, die im Fokus stehen. Der erste betrifft Adoption, die Veränderungen bei Berufen, Karrieren und Fähigkeiten aufzeigen.

Die zweite ist Aufstockung. Dies wird auf zwei Ebenen erprobt: Governance (Priorisierung von Bedürfnissen, ROI und Steuerung von Initiativen) und die GenAI-Plattform.

Hanan beobachtet eine Zunahme der Zahl der RAGs, ein Phänomen, das durch die vielen PoCs, die durchgeführt werden, bedingt ist. Infolgedessen müssen die Unternehmen die in ihren Experimenten verwendeten Bausteine rationalisieren.

“Morgen müssen wir uns RAG als data-Produkt vorstellen.. Es hat einen Platz als Produkt im Unternehmen, genauso wie LLM einen Platz als Produkt hat.

“Viele Menschen dachten, GenAI sei eine magische Sache, die sie von den Zwängen der Vergangenheit befreien würde. In Wirklichkeit bringt GenAI sogar noch mehr Zwänge mit sich”, mahnt der Experte von Artefact.

Diese Entwicklung ist Teil eines Kontinuums. Nach DevOps und dann MLOps, das sich speziell mit KI befasst, entsteht jetzt LLMOps. “Die mit MLOps definierten Sicherheitsvorkehrungen sind immer noch relevant. Aber wir müssen sie ergänzen, um die Kosten, Halluzinationen und die generative Dimension von Modellen zu berücksichtigen”, schließt Hanan.