Autor

Pascal Coggia

UK-Geschäftsführer & Partner

In diesem Artikel erklärt Pascal Coggia, Managing Partner bei Artefact UK, was Data Mesh ist und was nicht, warum es sowohl eine Denkweise als auch ein Ansatz ist und welche Anwendungsfälle, Vorteile und Herausforderungen es gibt.

Was ist Data Mesh? Wie unterscheidet es sich von einem data See?

Der ursprüngliche Architekt des Begriffs ist Zhamak Dehghani, ein Thoughtworks-Berater und Evangelist für data Dezentralisierung. Einfach ausgedrückt ist Data Mesh ein verteilter Architekturansatz für die Verwaltung analytischer data. Es ermöglicht den Endbenutzern den einfachen Zugriff und die Abfrage von data dort, wo sie sich befinden, ohne dass sie zuerst zu einem data See oder Lager transportiert werden müssen. Eine dezentralisierte Data Mesh-Strategie behandelt data als ein Produkt und bietet den bereichsspezifischen Teams die Verantwortung für data durch eine Selbstbedienungsplattform, die eine eingebettete data Governance hat.

Data Lakes sind minimal verwaltete Speicherbereiche für Rohdaten der Domain data. Sie sollten unbegrenzten Zugang zu data bieten, um den Engpass zentralisierter, streng verwalteter data Lager zu vermeiden, aber sie neigten dazu, unter schlechter data Qualität und Problemen der Auffindbarkeit zu leiden. Bestimmte verwaltete data Lake-Projekte haben diese Probleme mit einigem Erfolg angegangen, aber sie neigen dazu, die relative Zugänglichkeit von data zu verringern. Data Mesh zielt darauf ab, diese Probleme durch Dezentralisierung zu lösen und dadurch diese sogenannten "data Sümpfe" vollständig zu vermeiden.

Was ist mit "data als Produkt" gemeint?

Ich betrachte das Ganze ein wenig wie den App-Store. Man lädt einfach eine App herunter, wenn man etwas anderes machen will. Warum sollte das bei data nicht auch so sein? Betrachten Sie es strukturell: Was sind die Bestandteile eines data Produkts?

  • Es muss auffindbar sein: Die Menschen müssen das Produkt data finden können;

  • Sie muss ansprechbar sein - die Menschen müssen wissen, wie sie mit ihr umgehen können;

  • Sie muss selbsterklärend sein;

  • Sie muss sicher und vertrauenswürdig sein; sie muss Interoperabilität bieten.

All dies deutet darauf hin, dass ein Produkt von data auf einem Gewebe sitzt, das es ermöglicht, zu interagieren. Es ist nicht isoliert. Man kann nicht einfach ein paar data zusammenschmeißen, sie in einen S3-Bucket stecken und es data nennen. Man muss die Eigentumsverhältnisse und die Governance darum herum regeln.

Was sind die Vorteile für Unternehmen?

Es gibt viele Vorteile, die Data Mesh Unternehmen und funktionsübergreifenden Teams bieten kann:

  • Durch die Dezentralisierung von data werden Geschwindigkeit und Zugänglichkeit verbessert, so dass data für jeden Benutzer im Unternehmen besser auffindbar und nutzbar ist.

  • Da die Teams ihre eigenen data einbinden und ihre eigenen data Produkte verwalten, können sie diese nach eigenem Ermessen visualisieren und operationalisieren, was die Innovation fördert.

  • Die Entscheidungsfindung und die Markteinführung werden beschleunigt, was zu höheren Umsätzen, besserer Kundenbindung und -treue führt - und letztlich auch zu Kostensenkungen.

  • Und die geschäftliche Agilität im Allgemeinen wird dadurch verbessert, da Produktfunktionen nur dort eingerichtet werden, wo sie benötigt werden, und nicht auf Unternehmensebene.

Was sind die Herausforderungen bei der Einführung von Data Mesh?

Es ist wichtig, sich daran zu erinnern, dass Data Mesh nicht nur einen technologischen Wandel erfordert, sondern auch eine neue Denkweise. Unternehmen müssen lernen, data als ein Produkt zu betrachten, data zu verwalten und zu kontrollieren. Der Wechsel von zentraler zu dezentraler Eigentümerschaft und die Umstellung von Unternehmen von Pipelines auf Produkte, bei denen die data Domains an erster Stelle stehen, wird einige Zeit in Anspruch nehmen.

Zu den weiteren Problemen gehören die von Deloitte angeführten:

  • Duplizierung von data zwischen verschiedenen Domänen: Wenn data für die Bedürfnisse einer neuen Domäne, die sich von der Quelldomäne unterscheidet, umgewidmet wird, entstehen Redundanzen, die sich möglicherweise auf die Ressourcennutzung und die Kosten für die Verwaltung von data auswirken können.

  • Implementierung einer föderalen data Governance und Einhaltung von Qualitätsstandards: Bei der Koexistenz unabhängiger data Produkte und Pipelines können Qualitätsprinzipien leicht übersehen werden, was zu umfangreichen technischen Schulden führt. Diese Zuständigkeiten und Grundsätze müssen identifiziert und in geeigneter Weise zusammengeführt werden.

  • Erhebliches Änderungsmanagement ist erforderlich: Die Einführung der dezentralisierten Data Mesh-Operationen erfordert erhebliche Anstrengungen im Bereich des Änderungsmanagements.

  • Die Wahl der Technologie bestimmt die Gesamtkapazität der Plattform data . Daher müssen Technologieentscheidungen, die sowohl unternehmensweit standardisiert als auch zukunftssicher für alle erforderlichen data Funktionen sind, praktisch angegangen werden. Ungeeignete Technologieentscheidungen können leicht zu data Produkten führen, die mit der Zeit die technischen Schulden erhöhen.

  • Data Mesh ist nicht dazu gedacht, alle unternehmensweiten data in einem einzigen Bericht zusammenzufassen: Das übergeordnete Ziel ist zwar die data Zugänglichkeit, aber innerhalb eines Rahmens sollte es Freiraum geben. In Data Mesh sind data Verantwortlichkeiten und data Fähigkeiten auf funktionsübergreifende Teams verteilt, so dass Schlüsselelemente wie ein konsistentes Metadaten-Framework und gemeinsame Plattformen Teil einer erfolgreichen Implementierung von Data Mesh bleiben.

Wann ist ein Unternehmen bereit für die Einführung einer Data Mesh-Strategie?

Es hängt davon ab, wie gut das Unternehmen vorbereitet ist. Es kommt aber auch darauf an, mit wem Sie sprechen. Ein Chief Data Officer, der eine riesige zentrale Organisation aufgebaut hat, ist vielleicht noch nicht bereit für Data Mesh, weil er erst einmal festlegen muss, wie diese Funktionen zusammengeführt werden sollen. Aber die meisten Unternehmensleiter verstehen die Notwendigkeit, die data Anlage in Richtung der Randbereiche und des Unternehmens zu demokratisieren, weil sie oft mit dem zentralisierten Ansatz frustriert sind.

Man muss auch wissen, was auf technischer Ebene geschehen muss, um das Netz kontrollieren und steuern zu können, denn wenn man es nicht richtig einrichtet, kann es zum Wilden Westen werden. Es gibt also eine Reihe von Schritten zu befolgen.

  • Der erste Schritt besteht darin, eine Architekturprüfung durchzuführen, um alle Kernkomponenten einer potenziellen Data Mesh-Architektur zu definieren, die das Unternehmen bereits besitzt, und um herauszufinden, wie diese genutzt werden können, um Mitarbeiter in die Lage zu versetzen, Produktteams zu bilden.

  • Gibt es ein zentrales Team, das die Plattform erstellen kann, auf der das Data Mesh aufgebaut wird? Diese Plattform muss von Anfang an vorhanden sein. Die Infrastruktur ist das, was die Verteilungskapazität ermöglicht.

  • Sicherstellen, dass das Projekt die Unterstützung und das Engagement des Unternehmens und der Beteiligten hat, um auf allen Ebenen erfolgreich zu sein.

  • Verfügt das Projekt über die notwendigen Investitionen zum Aufbau des Data Mesh sowie über die Fähigkeiten, es zu verwalten? Denn beides ist unerlässlich.

  • Sobald diese Schritte abgeschlossen sind, ist es an der Zeit, mit dem Aufbau der Produktteams zu beginnen.

Der Übergang zu einem Data Mesh ist ein schrittweiser Prozess, denn alle Elemente, die Sie bereits haben - data Seen, data Lagerhäuser - müssen mit dem Data Mesh verbunden werden, sie können nicht weggeworfen werden. Die Menschen werden diese Informationen und den Wert und die Governance, die sie bereits umgibt, haben wollen.

Welche Arten von Unternehmen setzen Data Mesh erfolgreich ein?

Im Moment wird Data Mesh erfolgreich im Finanzdienstleistungssektor eingesetzt. ING ist ein gutes Beispiel. Für Banken ist es sinnvoll, Data Mesh zu nutzen - es unterstützt eine stärkere data Governance und bietet somit mehr Sicherheit. Mit Data Mesh müssen sich Betrugserkennungssysteme nicht mit anderen Systemen verbinden und jeden Tag dieselbe data abrufen. Stattdessen können Unternehmen domänenspezifische data Produkte erstellen, die ihre Experten für die Erkennung von Anomalien nutzen können, um bessere Modelle und Ergebnisse zu erzielen.

Zalando, Europas führende Online-Plattform für Mode, dezentralisiert seine data im Jahr 2020 und verwandelt seinen riesigen data See in ein Data Mesh. Was andere Sektoren betrifft, müssen wir sehen, wie es von Fall zu Fall läuft. Denn jeder Business Case, den Sie für Data Mesh erstellen, muss auf die spezifischen Herausforderungen des Unternehmens - und des Sektors - zugeschnitten sein, und diese sind ständig im Wandel begriffen.

Data Management-Strategien entwickeln sich ständig weiter, und Unternehmen müssen darauf vorbereitet sein, sich an Veränderungen anzupassen, um wettbewerbsfähig zu bleiben. Data Mesh ist eine Möglichkeit, die Silos unhandlicher Systeme mit monolithischer Architektur aufzubrechen und data zu dezentralisieren, um eine durchgängige Verantwortlichkeit und Skalierbarkeit zu gewährleisten. Ob Data Mesh das Richtige für Ihr Unternehmen ist - oder nicht, oder noch nicht - ist die Frage.