Auteur
In dit artikel legt Pascal Coggia, Managing Partner bij Artefact UK, uit wat Data Mesh is en wat het niet is, waarom het net zo goed een mindset als een aanpak is, en wat de use cases, voordelen en uitdagingen zijn.
Wat is Data gaas? Waarin verschilt het van een data meer?
De oorspronkelijke architect van de term is Zhamak Dehghani, een Thoughtworks consultant en evangelist voor data decentralisatie. Eenvoudig gezegd is Data Mesh een gedistribueerde architectuurbenadering voor het beheer van analytisch data. Het stelt eindgebruikers in staat om eenvoudig toegang te krijgen tot data en deze te bevragen waar deze zich bevindt, zonder deze eerst te transporteren naar een data meer of magazijn. Een gedecentraliseerde Data Mesh strategie behandelt data als een product en voorziet domeinspecifieke teams van data eigenaarschap door middel van een self-service platform dat ingebedde data governance heeft.
Data Meren zijn minimaal gereguleerde opslagplaatsen voor ruwe domeinen data. Ze waren bedoeld om onbeperkte toegang tot data te bieden in een poging om de bottleneck van gecentraliseerde, strak bestuurde data opslagplaatsen te vermijden, maar ze hadden de neiging om te lijden onder slechte data kwaliteit en vindbaarheidsproblemen. Bepaalde beheerde data meer-projecten hebben deze problemen met een beetje succes aangepakt, maar ze hebben de neiging om de relatieve toegankelijkheid van de data als resultaat te verminderen. Data Mesh heeft als doel om deze problemen op te lossen door middel van decentralisatie, waardoor deze zogenaamde “data moerassen” volledig vermeden worden.
Wat wordt bedoeld met “data als product”?
Ik zie het een beetje als de app store. Je downloadt gewoon een app als je iets anders wilt doen. Waarom zou dat niet zo zijn met data? Denk er structureel over na: wat zijn de onderdelen van een data product?
Dit alles wijst erop dat een data product op een stof zit die interactie mogelijk maakt. Het staat niet op zichzelf. Je kunt niet zomaar wat data bij elkaar gooien en het in een S3 emmer stoppen en het dan een data product noemen. U moet er eigenaarschap en governance omheen wikkelen.
Wat zijn de voordelen voor bedrijven?
Er zijn veel voordelen die Data Mesh aan organisaties en multifunctionele domeinen kan bieden:
Wat zijn de uitdagingen voor het gebruik van Data Mesh?
Het is belangrijk om te onthouden dat Data Mesh niet alleen een technologische verschuiving, het vereist een mindset verschuiving. Organisaties moeten leren denken over data als een product, over data governance en eigendom. Het verschuiven van bedrijven van gecentraliseerd naar gedecentraliseerd eigendom en het verschuiven van organisaties van pijplijnen naar producten, waar data domeinen de eerste zorg zijn, zal wat voeten in de aarde hebben.
Enkele andere problemen worden aangehaald door Deloitte:
Wanneer is een bedrijf klaar voor een Data Mesh-strategie?
Het hangt ervan af hoe goed het bedrijf voorbereid is. Maar het hangt er ook vanaf met wie u praat. Een Chief Data Officer die een enorme centrale organisatie heeft opgebouwd, is misschien nog niet klaar voor Data Mesh omdat hij eerst moet vaststellen hoe die functies gefedereerd kunnen worden. Maar de meeste bedrijfsleiders begrijpen de noodzaak om de data activa te democratiseren naar de randen en het bedrijf, omdat ze vaak gefrustreerd zijn over de gecentraliseerde aanpak.
U moet ook weten wat er op technisch niveau moet gebeuren om het netwerk te kunnen controleren en besturen, want als u het niet goed instelt, kan het in het Wilde Westen veranderen. U moet dus een aantal stappen volgen.
De overgang naar een Data Mesh is een stapsgewijze reis, omdat alle elementen die u al hebt - data lakes, data warehouses - verbonden moeten worden met de Data Mesh. Mensen willen die informatie en de waarde en governance die er al omheen zit.
Welke soorten bedrijven zetten met succes Data Mesh in?
Op dit moment wordt Data Mesh met succes toegepast in de financiële dienstverleningssector. ING is een goed voorbeeld. Het is zinvol voor banken om Data Mesh te gebruiken - het ondersteunt sterkere data governance, dus het biedt meer veiligheid. Met Data Mesh hoeven fraudedetectiesystemen geen verbinding te maken met andere systemen en elke dag dezelfde data te gebruiken. In plaats daarvan kunnen organisaties domeingerichte data-producten maken die hun anomaliedetectie-experts kunnen gebruiken om betere modellen en resultaten te creëren.
Zalando, dat Europa's toonaangevende online platform voor mode is, decentraliseerde hun data in 2020 en veranderde hun enorme data meer in een Data Mesh. Wat andere sectoren betreft, zullen we van geval tot geval moeten zien hoe het gaat. Want elke business case die u maakt voor Data Mesh zal moeten worden afgestemd op de specifieke uitdagingen van de organisatie - en de sector - en die zijn voortdurend in beweging.
Data beheerstrategieën zijn altijd in ontwikkeling en organisaties moeten voorbereid zijn om zich aan te passen aan veranderingen om concurrerend te blijven. Data Mesh is een manier om de silo's van logge monolithische architectuursystemen af te breken en data te decentraliseren voor end-to-end verantwoording en schaalbaarheid. Of Data Mesh geschikt is voor uw bedrijf - of niet, of nog niet - is de vraag.
