NIEUWS / DATA CONSULTING
28 oktober 2020
Data platformen hebben een revolutie teweeggebracht in de manier waarop merken data opslaan, analyseren en gebruiken - maar om ze efficiënter te gebruiken moeten ze beginnen met het inbedden van data governance als code, schrijven Justine Nerce, Data Consulting Director, en Jean-Baptiste Charruey, Manager Data Engineering, op Artefact.
Nu de wereldeconomieën zich beginnen te herstellen van de eerste schok van het coronavirus, kunnen we een periode van consolidatie en herwaardering door bedrijven verwachten. De behoefte aan innovatie blijft echter bestaan, ook al zijn de budgetten krap. De lancering van nieuwe producten en diensten goed voor meer dan 25% van de totale omzet en winst.
Innovatie moet worden gestuurd door nauwkeurige, hoogwaardige data. Om dit mogelijk te maken, hebben bedrijven echter een basis nodig van gemakkelijk toegankelijke, gedocumenteerde en gestandaardiseerde data om uit te putten. Ontwikkelingscycli voor nieuwe producten en diensten worden steeds korter en concurrerender, dus organisaties moeten hun benadering van data aanpassen om bij te blijven.
De opkomst van het data heeft bedrijven goede diensten bewezen bij het versnellen van de toegang tot data, vooral die bedrijven die de volgende generatie AI willen bouwen. Het is echter duidelijk dat merken nu een meer robuuste, efficiënte en kwalitatieve aanpak nodig hebben om hun data case agnostisch te maken - onderhoudbaar, operationeel en schaalbaar voor elke cloud, on-prem of hybride infrastructuur.
De opkomst en ondergang van het data platform
Bedrijven revolutioneren voortdurend hun benadering van data om marktvoordeel te behalen. In de loop der decennia hebben data magazijnen - grote opslagplaatsen van gefilterd data - plaats gemaakt voor data meren - enorme, gecentraliseerde opslagplaatsen van ongeraffineerde ruwe data. Deze enorme opslagplaatsen van data bleken echter onhandelbaar en moeilijk te beheren. Doorlooptijden werden langer omdat er geen duidelijk, flexibel proces was om de ontwikkeling te stroomlijnen.
Als gevolg hiervan zien we een verschuiving van de monolithische omgevingen van vroeger naar een meer gedistribueerde data architectuur, gebaseerd op meerdere data platformen. Dit zijn sets van software en diensten die een data meer omringen om te helpen de data beter exploiteerbaar te maken. Organisaties bouwen vaak meerdere data platforms voor elk bedrijfsdomein en voor elk nieuw project. Dit biedt ontwikkelteams snelle toegang tot de data en inzichten die ze nodig hebben om nieuwe bedrijfswaarde te creëren die inspelen op hun huidige behoeften.
Met decentralisatie komt echter ook fragmentatie en duplicatie. Veel bedrijven besteden enorm veel tijd en middelen aan het bouwen van een data platform voor een bepaalde omgeving. Vervolgens moeten ze het helemaal opnieuw doen voor het volgende project of de volgende use case, met aanzienlijke verschillen afhankelijk van de technische kennis van het team. De kosten worden meerdere malen vermenigvuldigd, omdat teams bij elk nieuw project weer van voren af aan moeten beginnen.
Veel van het meest waardevolle werk dat bedrijven tegenwoordig doen - ook op het gebied van artificial intelligence - is afdelings- en domeinoverschrijdend. data van hoge kwaliteit moet worden gedeeld tussen teams en verschillende data platforms om het volledige potentieel ervan te realiseren, maar hoe behoud je de kwaliteit als data wordt onderworpen aan een reeks conflicterende beleidsregels? Er moet een compromis gevonden worden tussen het geven van lokaal eigenaarschap aan teams voor data om aan te passen en te creëren, en de standaardisatie van aanpak om een solide technologische basis te bouwen.
Voer de maas van data in.
Zonder enig verbindingsweefsel tussen de verschillende domeinen zullen data platforms er niet in slagen om de kwaliteit data en kostenefficiëntie te leveren die merken nodig hebben voor snelle ontwikkeling. Gelukkig hebben ze een manier om hun aanpak te evolueren. Ze moeten hun data architectuur evolueren van een ongelijksoortige verzameling data platforms naar wat Zhamak Dehghani definieert als een "data mesh"..
Een data mesh is een architectuur waarbij gedistribueerde data platformen, eigendom van onafhankelijke cross-functionele teams, verbonden zijn via een 'mesh' van gemeenschappelijk beleid, governance en tools. Deze aanpak zorgt voor flexibiliteit en veerkracht op data platformen door een gedeelde basis in te stellen, terwijl teams ook de vrijheid hebben om hun eigen domein aan te passen.
Deze aanpak verandert een data platform van een eenmalig project in een waarde op lange termijn, waardoor dubbel werk en onnodig beslag op middelen wordt voorkomen. Het nadeel van de data mesh is echter dat individuele teams veel werk moeten verzetten om ervoor te zorgen dat de industrialisatie voltooid is. Dit kan tijdrovend zijn met een resultaat dat verre van perfect is. Het is belangrijk om een sjabloon te hebben dat aan alle eisen voldoet om een productieklare oplossing te maken. Maar welke vorm moet deze template aannemen?
De belangrijkste component is een reeks gemeenschappelijke codes die op alle data platforms worden gebruikt. Deze "data sentinel" is een mix van oplossingen die de verwerking en analyse van de data en de overgang naar industrialisatie vergemakkelijken. De rol is om toezicht te houden op alle data stromen en deze te stroomlijnen - zoals het verzamelen van metadata en het opschonen - door de ontwikkeling van modules rond data kwaliteit en documentatie.
Een data sentinel bevrijdt data teams en specialisten van de alledaagse en repetitieve taken van data management. In plaats daarvan kunnen ze zich richten op meer strategische en innovatieve taken die nieuwe waarde creëren voor het bedrijf.
In de kern van data sentinel moet data governance als code stevig verankerd zijn in het platformontwerp en bij elke nieuwe use case worden voortgezet. Dankzij data governance as code is data vanaf het allereerste begin "eigendom", van hoge kwaliteit, gedocumenteerd, beveiligd en compliant, en gemakkelijk toegankelijk via data modellen in de hele organisatie.
Innovatie gewoon maken
Data platforms moeten evoluerende producten zijn, bedoeld voor data activering en snelle bedrijfswaarde. Wanneer ze worden gecombineerd voor verschillende use cases en vereisten, maken ze innovatie en uitvinding sneller en kosteneffectiever. Sterker nog, mutualisatie van diensten kan de implementatiesnelheid met 40% verlagen en afdelingen helpen waarde te genereren door de data kwaliteit en variëteit te bieden die nodig zijn voor hun use cases.
Bedrijven hebben een constante stroom van nieuwe use cases en producten te ontwikkelen, vooral in het huidige klimaat. Een wederzijdse, data governance as code-aanpak biedt een end-to-end proces waarmee ze deze use cases echt kunnen industrialiseren. Hoogwaardige, accurate data kan eenvoudig worden gedeeld tussen projecten en teams door middel van een robuuste, sterk geprogrammeerde oplossing. Er gaat geen tijd verloren wanneer inzicht nodig is voor een nieuw product.
Technologie alleen is niet genoeg. Om het data platform te laten werken, heb je een aanpak nodig die iteratief en transversaal is. Het is de enige manier om innovatie gewoon te maken op uw organisatie.
Voor het eerst gepubliceerd door ITPortal.com
