Autor

Image

Pascal Coggia

UK Managing Director & Partner

In diesem Artikel erklärt Pascal Coggia, Managing Partner bei Artefact UK, was Data Mesh ist und was nicht, warum es sowohl eine Denkweise als auch ein Ansatz ist und welche Anwendungsfälle, Vorteile und Herausforderungen damit verbunden sind.

Was ist eine Data Masche? Wie unterscheidet es sich von einem data See?

Der ursprüngliche Architekt des Begriffs ist Zhamak Dehghani, ein Thoughtworks Berater und Verfechter der Dezentralisierung von data. Einfach ausgedrückt, ist Data Mesh ein verteilter Architekturansatz für die Verwaltung von analytischem data. Er ermöglicht es den Endbenutzern, auf data zuzugreifen und es dort abzufragen, wo es sich befindet, ohne es zunächst in einen data-See oder ein Lager zu transportieren. Eine dezentralisierte Data Mesh-Strategie behandelt data als Produkt und bietet domänenspezifischen Teams die Möglichkeit, data über eine Selbstbedienungsplattform mit eingebettetem data governance zu verwalten.

Data Lakes sind minimal verwaltete Lagerbereiche für rohes Domain data. Sie sollten unbegrenzten Zugang zu data bieten, um den Engpass von zentralisierten, streng verwalteten data-Lagern zu vermeiden, aber sie neigten dazu, unter schlechter data-Qualität und Problemen bei der Auffindbarkeit zu leiden. Bestimmte verwaltete data-See-Projekte haben diese Probleme mit einigem Erfolg angegangen, aber sie neigen dazu, die relative Zugänglichkeit des data dadurch zu verringern. Data Mesh zielt darauf ab, diese Probleme durch Dezentralisierung zu lösen und so diese so genannten “data-Sümpfe” vollständig zu vermeiden.

Was ist mit “data als Produkt” gemeint?

Ich betrachte das Ganze ein wenig wie den App Store. Sie laden einfach eine App herunter, wenn Sie etwas anderes tun möchten. Warum sollte das bei data nicht auch so sein? Betrachten Sie es strukturell: Was sind die Bestandteile eines data-Produkts?

  • Es muss auffindbar sein: Die Leute müssen das Produkt data finden können;

  • Sie muss ansprechbar sein - die Menschen müssen wissen, wie sie damit umgehen können;

  • Es muss selbsterklärend sein;

  • Sie muss sicher und vertrauenswürdig sein; sie muss Interoperabilität bieten.

All dies deutet darauf hin, dass ein data-Produkt auf einer Struktur sitzt, die es ermöglicht, zu interagieren. Es ist nicht isoliert. Sie können nicht einfach ein paar data zusammenschmeißen, sie in einen S3-Eimer stecken und es ein data-Produkt nennen. Sie müssen die Eigentumsverhältnisse und die Verwaltung darum herum regeln.

Was sind die Vorteile für Unternehmen?

Es gibt viele Vorteile, die Data Mesh für Unternehmen und funktionsübergreifende Teams bieten kann:

  • Durch die Dezentralisierung von data wird die Geschwindigkeit und die Zugänglichkeit verbessert, so dass data für jeden Benutzer im Unternehmen viel leichter auffindbar und nutzbar ist.

  • Da die Teams ihr eigenes data einbinden und ihre eigenen data-Produkte verwalten, können sie es nach eigenem Ermessen visualisieren und operationalisieren, was die Innovation fördert.

  • Die Entscheidungsfindung und die Zeit bis zur Markteinführung werden beschleunigt, was zu höheren Umsätzen und einer besseren Kundenbindung führt - und letztlich die Kosten senkt.

  • Und die geschäftliche Agilität im Allgemeinen wird dadurch verbessert, da Produktfunktionen nur dort eingerichtet werden, wo sie benötigt werden, und nicht auf einer unternehmensweiten Basis.

Was sind die Herausforderungen bei der Einführung von Data Mesh?

Es ist wichtig zu wissen, dass Data Mesh nicht nur eine Technologie Schicht, erfordert es eine Denkweise Verschiebung. Unternehmen müssen lernen, data als Produkt zu betrachten, als data governance und Eigentum. Die Verlagerung von Unternehmen von zentralem zu dezentralem Eigentum und die Verlagerung von Organisationen von Pipelines zu Produkten, bei denen data-Domains an erster Stelle stehen, wird einige Arbeit erfordern.

Einige andere Probleme werden unter anderem von folgenden Autoren genannt Deloitte:

  • Duplizierung von data zwischen verschiedenen Domänen: Wenn data für die Bedürfnisse einer neuen Domäne verwendet wird, die sich von der Quelldomäne unterscheidet, entstehen Redundanzen, die sich möglicherweise auf die Ressourcennutzung und die Kosten der data-Verwaltung auswirken können.

  • Implementierung von föderierten data governance und Qualitätskonformität: Bei der Koexistenz unabhängiger data-Produkte und -Pipelines können Qualitätsprinzipien leicht übersehen werden, was zu umfangreichen technischen Schulden führt. Diese Verantwortlichkeiten und Grundsätze müssen identifiziert und entsprechend zusammengeführt werden.

  • Erhebliches Change Management ist erforderlich: Die Einführung des dezentralisierten Data Mesh-Betriebs erfordert erhebliche Anstrengungen beim Change Management.

  • Die Wahl der Technologie bestimmt die gesamten data platform-Fähigkeiten. Daher müssen Technologieentscheidungen, die sowohl unternehmensweit standardisiert als auch zukunftssicher für alle erforderlichen data-Funktionen sind, praktisch angegangen werden. Unsachgemäße Technologieentscheidungen können leicht zu data-Produkten führen, die im Laufe der Zeit die technischen Schulden erhöhen.

  • Data Mesh ist nicht dazu gedacht, alle unternehmensweiten data in einem einzigen Bericht zusammenzufassen: Auch wenn das übergeordnete Ziel die data-Zugänglichkeit ist, sollte es innerhalb eines Rahmens Freiraum geben. In Data Mesh sind data-Eigentümerschaft und data-Fähigkeiten auf funktionsübergreifende Domänen-Teams verteilt, so dass Schlüsselelemente wie ein konsistentes Metadata-Framework und gemeinsame Plattformen Teil einer erfolgreichen Implementierung von Data Mesh bleiben.

Wann ist ein Unternehmen bereit, eine Data Mesh-Strategie einzuführen?

Es hängt davon ab, wie gut das Unternehmen vorbereitet ist. Aber es kommt auch darauf an, mit wem Sie sprechen. Ein Chief Data Officer, der eine riesige zentrale Organisation aufgebaut hat, ist vielleicht noch nicht bereit für Data Mesh, weil er erst einmal herausfinden muss, wie diese Funktionen zusammengeführt werden können. Die meisten Unternehmensleiter verstehen jedoch die Notwendigkeit, die data-Assets in Richtung der Randbereiche und des Unternehmens zu demokratisieren, da sie von dem zentralisierten Ansatz oft frustriert sind.

Sie müssen auch wissen, was auf technischer Ebene geschehen muss, um das Netz zu kontrollieren und zu steuern, denn wenn Sie es nicht richtig einrichten, kann es sich in den Wilden Westen verwandeln. Es gibt also eine Reihe von Schritten zu befolgen.

  • Der erste Schritt besteht darin, eine Architekturprüfung durchzuführen, um alle Kernkomponenten einer potenziellen Data Mesh-Architektur zu definieren, die das Unternehmen bereits besitzt, und zu ermitteln, wie diese genutzt werden können, um die Mitarbeiter in die Lage zu versetzen, Produktteams aufzubauen.

  • Gibt es ein zentrales Team, das die Plattform erstellen kann, auf der das Data Mesh aufgebaut wird? Diese Plattform muss von Anfang an vorhanden sein. Die Infrastruktur ist das, was die Distributionsfähigkeit ermöglicht.

  • Stellen Sie sicher, dass das Projekt die Unterstützung und das Engagement des Unternehmens und der Stakeholder hat, um auf allen Ebenen erfolgreich zu sein.

  • Verfügt das Projekt über die notwendigen Investitionen, um das Data Mesh aufzubauen, und über die Fähigkeiten, es zu verwalten? Denn beides ist unerlässlich.

  • Sobald diese Schritte abgeschlossen sind, ist es an der Zeit, mit dem Aufbau der Produktteams zu beginnen.

Der Übergang zu einem Data Mesh ist ein schrittweiser Prozess, denn alle Elemente, die Sie bereits haben - data-Seen, data-Warehouses - müssen mit dem Data Mesh verbunden werden, sie können nicht einfach weggeworfen werden. Die Menschen werden diese Informationen und den Wert und die Governance, die sie bereits umgibt, haben wollen.

Welche Arten von Unternehmen setzen Data Mesh erfolgreich ein?

Zurzeit wird Data Mesh erfolgreich im Finanzdienstleistungssektor eingesetzt. ING ist ein gutes Beispiel. Für Banken ist es sinnvoll, Data Mesh zu verwenden - es unterstützt das stärkere data governance und bietet daher mehr Sicherheit. Mit Data Mesh müssen sich Betrugserkennungssysteme nicht mit anderen Systemen verbinden und jeden Tag dasselbe data abrufen. Stattdessen können Unternehmen domänenspezifische data-Produkte erstellen, die ihre Experten für die Erkennung von Anomalien nutzen können, um bessere Modelle und Ergebnisse zu erzielen.

Zalando, Europas führende Online-Plattform für Mode, hat ihr data im Jahr 2020 dezentralisiert und ihren riesigen data-See in ein Data-Mesh verwandelt. Was andere Sektoren angeht, müssen wir sehen, wie es von Fall zu Fall läuft. Denn jeder Business Case, den Sie für Data Mesh erstellen, muss auf die spezifischen Herausforderungen des Unternehmens - und des Sektors - zugeschnitten sein, und diese sind ständig in Bewegung.

Data-Verwaltungsstrategien entwickeln sich ständig weiter, und Unternehmen müssen darauf vorbereitet sein, sich an Veränderungen anzupassen, um wettbewerbsfähig zu bleiben. Data Mesh ist eine Möglichkeit, die Silos unhandlicher Systeme mit monolithischer Architektur aufzubrechen und data zu dezentralisieren, um eine durchgängige Rechenschaftspflicht und Skalierbarkeit zu gewährleisten. Die Frage ist, ob Data Mesh das Richtige für Ihr Unternehmen ist - oder nicht, oder noch nicht - ist die Frage.