Auteur
In dit artikel legt Pascal Coggia, Managing Partner bij Artefact UK, uit wat Data Mesh is en wat het niet is, waarom het net zo goed een mindset als een benadering is, en wat de use cases, voordelen en uitdagingen zijn.
Wat is Data mesh? Wat is het verschil met een data meer?
De oorspronkelijke bedenker van de term is Zhamak Dehghani, een Thoughtworks consultant en evangelist voor data decentralisatie. Eenvoudig gezegd is Data Mesh een gedistribueerde architectuurbenadering voor het beheer van analytische data. Eindgebruikers kunnen eenvoudig toegang krijgen tot data en deze opvragen op de plaats waar deze zich bevindt, zonder deze eerst naar een data meer of magazijn te transporteren. Een gedecentraliseerde Data Mesh strategie behandelt data als een product en voorziet domeinspecifieke teams van data eigenaarschap door middel van een self-service platform met ingebedde data governance.
Data Meren zijn minimaal beheerde opslagplaatsen voor ruwe domeinen data. Ze waren bedoeld om onbeperkte toegang te bieden tot data in een poging om de bottleneck van gecentraliseerde, strak bestuurde data magazijnen te vermijden, maar ze hadden de neiging om te lijden onder slechte data kwaliteit en vindbaarheidsproblemen. Bepaalde beheerde data meerprojecten hebben deze problemen met enig succes aangepakt, maar ze hebben de neiging om de relatieve toegankelijkheid van de data als resultaat te verminderen. Data Mesh wil deze problemen oplossen door middel van decentralisatie, waardoor deze zogenaamde "data moerassen" volledig vermeden worden.
Wat wordt bedoeld met "data als product"?
Ik zie het een beetje als de app store. Je downloadt gewoon een app als je iets anders wilt doen. Waarom zou dat niet zo zijn met data? Denk er structureel over na: wat zijn de onderdelen van een data product?
Dit alles suggereert dat een data product op een stof zit die interactie mogelijk maakt. Het staat niet op zichzelf. Je kunt niet zomaar wat data bij elkaar gooien en het in een S3 emmer stoppen en het een data product noemen. Je moet er eigenaarschap en bestuur omheen wikkelen.
Wat zijn de voordelen voor bedrijven?
Er zijn veel voordelen die Data Mesh kan bieden aan organisaties en cross-functionele domeinteams:
Wat zijn de uitdagingen voor de toepassing van Data Mesh?
Het is belangrijk om te onthouden dat Data Mesh niet alleen een technologische verschuiving vereist, maar ook een mentaliteitsverandering. Organisaties moeten leren denken over data als een product, over data bestuur en eigendom. Het verschuiven van bedrijven van gecentraliseerd naar gedecentraliseerd eigendom en het verschuiven van organisaties van pijplijnen naar producten, waar data domeinen de eerste zorg zijn, zal wat voeten in de aarde hebben.
Enkele andere problemen zijn deze die Deloitte aanhaalt:
Wanneer is een organisatie klaar voor een Data Mesh-strategie?
Het hangt ervan af hoe goed de organisatie is voorbereid. Maar het hangt er ook vanaf met wie je praat. Een Chief Data Officer die een enorme centrale organisatie heeft opgebouwd, is misschien niet klaar voor Data Mesh omdat hij eerst moet vaststellen hoe die functies kunnen worden gefedereerd. Maar de meeste bedrijfsleiders begrijpen de noodzaak om de data asset te democratiseren naar de randen en het bedrijf toe omdat ze vaak gefrustreerd zijn door de gecentraliseerde aanpak.
Je moet ook weten wat er op technisch niveau moet gebeuren om het netwerk te kunnen controleren en besturen, want als je het niet goed instelt, kan het in het Wilde Westen veranderen. Je moet dus een aantal stappen volgen.
De overgang naar een Data Mesh is een stapsgewijze reis omdat alle elementen die je al hebt - data lakes, data warehouses - moeten worden aangesloten op de Data Mesh, ze kunnen niet worden weggegooid. Mensen willen die informatie en de waarde en governance die er al omheen zit.
Wat voor bedrijven zetten Data Mesh met succes in?
Op dit moment wordt Data Mesh met succes toegepast in de financiële dienstverleningssector. ING is een goed voorbeeld. Het is logisch voor banken om Data Mesh te gebruiken - het ondersteunt een sterkere data governance, dus het services verhoogt de veiligheid. Met Data Mesh hoeven fraudedetectiesystemen geen verbinding te maken met andere systemen en elke dag dezelfde data op te halen. In plaats daarvan kunnen organisaties domeingerichte data producten maken die hun anomaliedetectie-experts kunnen gebruiken om betere modellen en resultaten te creëren.
Zalando, het grootste online platform voor mode in Europa, heeft in 2020 zijn data gedecentraliseerd en zijn enorme data meer veranderd in een Data Mesh. Voor andere sectoren moeten we per geval bekijken hoe het gaat. Want elke business case die je maakt voor Data Mesh zal moeten worden afgestemd op de specifieke uitdagingen van de organisatie - en de sector - en die zijn voortdurend in beweging.
Data Managementstrategieën zijn altijd in beweging en organisaties moeten voorbereid zijn om zich aan te passen aan veranderingen om concurrerend te blijven. Data Mesh is een manier om de silo's van logge monolithische architectuursystemen af te breken en data te decentraliseren voor end-to-end verantwoording en schaalbaarheid. Of Data Mesh geschikt is voor uw bedrijf - of niet, of nog niet - is de vraag.
