Data Masche: Grundsätze, Versprechen und Realitäten eines dezentralen Verwaltungsmodells data

Data mesh ist ein neues organisatorisches und technologisches Modell zur dezentralen Verwaltung von data . Als verteilter Architekturansatz für die Verwaltung von analytischen data ermöglicht es den Nutzern den einfachen Zugriff und die Abfrage von data dort, wo sich die Daten befinden, ohne dass sie zunächst in einen data See oder ein Lager transportiert werden müssen. Data mesh basiert auf vier Grundprinzipien:

Der Workshop war in drei Teile gegliedert:

1. Geschäftswert: Warum ein Produkt/Mesh-Ansatz? Wie dient er den Geschäftszielen des Unternehmens?
2. Ansatz für den Einsatz: Wie kann der Erfolg erreicht werden? Welche Schritte sollten unternommen werden und welches Organisationsmodell sollte verwendet werden?
3. Technologie-Stapel: Warum Google als Technologielösung wählen?

Zum Auftakt der Diskussion über den Unternehmenswert erklärte Justine Nerce: "Einer der besten Gründe für die Einführung eines Produkt/Mesh-Konzepts ist, dass es zwei Teufelskreise vermeidet. Der erste besteht darin, das Rad jedes Mal neu zu erfinden, wenn eine neue Anwendung für data auftaucht: ein neues Team wird gebildet, das seine eigene data Pipeline für seine spezifischen Bedürfnisse erstellt. Das Ergebnis? Keine gemeinsame Nutzung, keine Wiederverwendbarkeit der gewählten Technologien. Der zweite Fall ist der 'Aufbau eines Monolithen', wenn eine neue Anwendung für data im Backlog eines zentralen data Teams landet und dann an nicht aufdata spezialisierte Teams weitergegeben wird, die eine massive data Sammlung, generische Transformation und Anwendungsfallentwicklung durchführen, mit dem Risiko, nicht auf die Bedürfnisse der Nutzer einzugehen."

Bei einem produktbezogenen Ansatz wird aus dem Teufelskreis jedoch ein positiver. Wenn eine neue Anwendung für data auftaucht, sucht data mesh nach dem, was bereits existiert und wiederverwendet werden kann, anstatt etwas Neues zu entwickeln. Es identifiziert Bereiche, die bereits für die Bearbeitung bestimmter Themen zuständig sind, und sucht nach bestehenden data Produkten, die die Schaffung und Entwicklung neuer Bedürfnisse beschleunigen können, entweder so, wie sie sind, oder in iterativen Prozessen zur Schaffung neuer, maßgeschneiderter Produkte. Und alle diese Produkte können im Unternehmenskatalog veröffentlicht werden.

Data Produkte gibt es in Unternehmen schon seit langem, aber in data mesh sind die Verwendungszwecke und Qualifikationen von data grundsätzlich anders, erklärt Killian Gaumont:

"Das heutige Produkt data ist eine Kombination aus data , das den Unternehmen für die geschäftliche Nutzung zur Verfügung gestellt wird, und spezifischen Funktionen, die die Nutzung und Wiederverwendbarkeit von dataerleichtern.

Um in data mesh aufgenommen zu werden, muss ein data Produkt sein:

1. Geführt von einem Team von engagierten Eigentümern;
2. Endnutzerorientiert und weit verbreitet;
3. von Qualität während des gesamten Lebenszyklus;
4. Wiederverwendbar im Originalzustand oder für die Herstellung anderer Produkte;
5. Zugänglich für alle Benutzer;
6. Standardisiert, damit alle die gleiche Sprache sprechen.

Unter Artefact werden die Produkte von data in drei verschiedene Produktfamilien eingeteilt. "Es gibt Rohprodukte wie Datenbanken, die für Geschäftsprozesse genutzt werden - das sind data Produkte", versichert Killian. "Dann gibt es data Produkte, die mit individuellen Algorithmen oder Produktempfehlungen angereichert sind, wie zum Beispiel Interaction 360°. An der Spitze stehen fertige Produkte, die auf die Nutzung ausgerichtet sind, wie z. B. Dashboards. Das sind Produkte für den Endverbraucher, die einen Mehrwert schaffen, indem sie die Produktentwicklung mit der Unternehmensstrategie verknüpfen."

ArtefactDer Ansatz von data für die Netzbereitstellung beginnt im Kleinen, indem die Anwendungsfälle und Probleme des Unternehmens priorisiert werden. Anschließend werden alle Bereiche und data Produkte identifiziert, die für jeden priorisierten Geschäftsanwendungsfall benötigt werden (vom Rohmaterial data bis zum fertigen Produkt). Ein zukünftiges Team wird zusammengestellt, um die ersten Produkte zu entwickeln und Standards festzulegen. Anschließend können verwandte Produkte, die in der Zukunft entwickelt werden sollen, identifiziert werden.

Es gibt drei Voraussetzungen für den Einsatz von data . Die erste: Aufbrechen von Silos.

"Wenn data mesh ein Erfolg werden soll, müssen wir zu einem Organisationsmodell übergehen, das die Silos zwischen IT, data und Unternehmen aufbricht, um Plattformteams zu haben, die sich aus bereichs- und produktübergreifenden Teams zusammensetzen", sagt Killian. "Das wird natürlich nicht über Nacht geschehen. Aber wir haben bereits damit begonnen, Silos aufzubrechen, indem wir Business-Teams in IT-Teams data integriert haben, so dass die Produktteams, die data Produkte entwickeln, effizienter arbeiten können."

Die zweite Voraussetzung ist der Data Product Owner, der eine Schlüsselrolle bei der Koordinierung der Implementierung von data mesh spielt. Der data Product Owner hat drei Aufgaben: Entwerfen, Erstellen und Vermarkten von data Produkten. Die ersten beiden Aufgaben sind selbsterklärend; die dritte ist ebenso wichtig, da die Stärke eines data Produkts darin liegt, dass es vom Unternehmen angenommen und genutzt wird. "Der data Product Owner ist dafür verantwortlich, dass das data Produkt dokumentiert, für die Benutzer verständlich und zugänglich ist und mit den Geschäftsanforderungen übereinstimmt. Die Kriterien für seinen Erfolg sind seine KPIs: Nutzung, technische Leistung, data Qualität", fügt Killian hinzu.

Die letzte Voraussetzung ist, dass das Unternehmen in der Lage ist, seine data Bereiche klar und kontinuierlich zu definieren, und dass es, sobald sich das Modell bewährt hat, in der Lage ist, es zu erweitern.

Dies sind die drei am häufigsten gestellten Fragen von Kunden, die data mesh implementieren, zusammen mit den Empfehlungen von Artefactfür die erfolgreiche Definition von Bereichen, die Messung des Erfolgs und das Wissen, wann es angebracht ist, das System zu erweitern.

"Das erste, was data und IT-Teams brauchen, um data mesh zu implementieren, ist die Möglichkeit, ihre data auffindbar und zugänglich zu machen, indem sie sie in einem data Katalog veröffentlichen", beginnt Amine Mohktari. "Um dies zu erreichen, hat Google eine erste Säule, Big Query, die die Erstellung von gemeinsam nutzbaren Datensätzen ermöglicht. Die zweite Säule, der Katalog selbst, wird durch den Analytics Hub ermöglicht, der Links zu allen Datensätzen erstellt, die von verschiedenen Mitgliedern der Organisation oder ihren Partnern erstellt wurden, damit die Abonnenten leicht darauf zugreifen können."

"Es ist wichtig zu verstehen, dass nur Verknüpfungen zu data hergestellt werden - niemals Kopien. Dank dieses Systems können die Abonnenten die data so nutzen, als ob sie ihnen gehören, auch wenn sie an ihrem ursprünglichen physischen Ort verbleiben. Das gilt auch dann, wenn die data in einer anderen cloudgespeichert sind", versichert Amine.

Die Benutzerfreundlichkeit ist ein wichtiger Grundsatz des Systems und spiegelt sich in allen Aspekten des data mesh wider, nicht nur durch die Erleichterung der gemeinsamen Nutzung von data und der Zusammenstellung von data , sondern auch durch die ständige Verfügbarkeit von data , unabhängig davon, wie viele Benutzer aktiv sind.

Was data Sicherheit und Governance betrifft, so hat Google mit Dataplex, seiner intelligenten data Struktur, die dabei hilft, verteilte data zu vereinheitlichen und data Management und Governance über diese data zu automatisieren, um Analysen im großen Maßstab zu ermöglichen, alles im Griff. Zusammen mit einem Identitäts- und Zugriffsmanagement-Framework (IAM), mit dem jedem data Verbraucher eine eindeutige Identität zugewiesen werden kann, "bietet Dataplex Unternehmen eine Reihe von technischen Säulen, die es ihnen ermöglichen, jede Governance-Implementierung auf einfachste Weise durchzuführen", erklärt Amine.

"Unser Ziel bei Google Cloud ist es, Ihnen eine serverlose data zur Verfügung zu stellen, die es Ihren data ermöglicht, sich auf Bereiche wie Prozesse und geschäftliche Anwendungsfälle zu konzentrieren, in denen sie einen Mehrwert haben, den niemand sonst erzeugen kann."

 Googles Dataplex bietet Nutzern eine 360°-Ansicht der veröffentlichten data Produkte und ihrer Qualität

DON'T > Bleiben Sie in einer Projektvision statt in einer Produktvision stecken
DO > Definieren Sie Prioritäten data Produkte nach verschiedenen Verwendungszwecken;

DON'T > Führen Sie das neue Modell nicht zu schnell ein
DO > Testen Sie das Modell mit einem genau definierten Betriebsmodell;

DON'T > Einsatz eines übermäßig komplexen technischen Ökosystems
DO > Halten Sie den technischen Stack klein, um so viele Akteure wie möglich zu haben.