NIEUWS / GEGEVENS RAADPLEGEN
28 oktober 2020
Data platforms hebben een revolutie teweeggebracht in de manier waarop merken data opslaan, analyseren en gebruiken - maar om ze efficiënter te gebruiken, moeten ze beginnen met het insluiten van data governance als code, schrijven Justine Nerce, Data Consulting Director, en Jean-Baptiste Charruey, Manager Data Engineering, bij Artefact.
Nu de wereldeconomieën zich beginnen te herstellen van de eerste schok van het coronavirus, kunnen we een periode van consolidatie en herevaluatie door bedrijven verwachten. De behoefte aan innovatie blijft echter bestaan, ook al zijn de budgetten krap. De lancering van nieuwe producten en diensten blijft is goed voor meer dan 25% van de totale inkomsten en winst.
Innovatie moet worden geleid door nauwkeurige, hoogwaardige data. Om dit mogelijk te maken, hebben bedrijven echter een fundament nodig van gemakkelijk toegankelijk, gedocumenteerd en gestandaardiseerd data om uit te putten. Ontwikkelingscycli voor nieuwe producten en diensten worden steeds korter en concurrerender, dus organisaties moeten hun benadering van data aanpassen om bij te blijven.
De opkomst van de data platform heeft bedrijven goed gediend bij het versnellen van de toegang tot data, vooral bedrijven die de volgende generatie AI-oplossingen willen bouwen. Het is echter duidelijk dat merken nu een meer robuuste, efficiënte en kwalitatieve aanpak nodig hebben om hun data platforms case agnostisch te maken - onderhoudbaar, operationeel en schaalbaar voor elke cloud, on-prem of hybride infrastructuur..
De opkomst en ondergang van de data platform
Bedrijven revolutioneren voortdurend hun benadering van data om marktvoordeel te behalen. In de loop der decennia hebben data magazijnen - grote opslagplaatsen van gefilterde data - plaats gemaakt voor data meren - grote, gecentraliseerde opslagplaatsen van ongeraffineerde ruwe data. Deze enorme opslagplaatsen van data zijn echter onhandelbaar en moeilijk te beheren gebleken. Doorlooptijden werden langer omdat er geen duidelijk, flexibel proces was om de ontwikkeling te stroomlijnen.
Als gevolg hiervan zien we een verschuiving van de monolithische omgevingen van vroeger naar een meer gedistribueerde data architectuur, gebaseerd op meerdere data platforms. Dit zijn sets van software en services die een data meer omringen om te helpen de data beter exploiteerbaar te maken. Organisaties bouwen vaak meerdere data platforms voor elk bedrijfsdomein en voor elk nieuw project. Dit biedt ontwikkelteams snelle toegang tot de data en inzichten die ze nodig hebben om nieuwe bedrijfswaarde te creëren die aan hun huidige behoeften voldoet.
Echter, met decentralisatie leidt tot fragmentatie en duplicatie. Veel bedrijven besteden enorme hoeveelheden tijd en middelen aan het bouwen van een data platform voor een bepaalde omgeving. Vervolgens moeten ze het helemaal opnieuw doen voor het volgende project of de volgende use case, met aanzienlijke verschillen afhankelijk van de technische kennis van het team. De kosten worden meerdere keren vermenigvuldigd, omdat teams in wezen bij elk nieuw project weer van voren af aan beginnen.
Veel van het meest waardevolle werk dat bedrijven vandaag de dag doen - ook op het gebied van artificial intelligence - is afdelings- en domeinoverschrijdend. data van hoge kwaliteit moet gedeeld worden tussen teams en verschillende data platforms om het volledige potentieel ervan te realiseren, maar hoe handhaaf je de kwaliteit als data onderworpen is aan een waaier van conflicterende beleidslijnen? Er moet een compromis gevonden worden tussen het geven van lokaal eigendom aan teams om data aan te passen en te creëren, en de standaardisatie van de aanpak om een solide technologische basis op te bouwen..
Voer het data netwerk in
Zonder enig verbindingsweefsel tussen de verschillende domeinen zal data platforms er niet in slagen om de kwaliteit data en kostenefficiëntie te leveren die merken nodig hebben voor snelle ontwikkeling. Gelukkig hebben ze een manier om hun aanpak te ontwikkelen. Ze moeten hun data architectuur evolueren van een ongelijksoortige verzameling data platforms naar wat Zhamak Dehghani definieert als een ‘data mesh’.’.
Een data mesh is een architectuur waarin gedistribueerde data platforms, die eigendom zijn van onafhankelijke cross-functionele teams, met elkaar verbonden zijn via een ‘mesh’ van gemeenschappelijk beleid, governance en tools. Deze aanpak brengt flexibiliteit en veerkracht voor data platforms door een gedeelde basis in te stellen, terwijl teams ook de vrijheid krijgen om hun eigen domein aan te passen.
Met deze aanpak wordt een data platform van een eenmalig project naar een actief op lange termijn, Zo wordt dubbel werk en onnodig beslag op middelen voorkomen. Het nadeel van de data mesh is echter dat individuele teams veel werk moeten verzetten om ervoor te zorgen dat de industrialisatie voltooid is. Dit kan tijdrovend zijn met een resultaat dat verre van perfect is. Het is belangrijk om een sjabloon te hebben dat aan alle vereisten voldoet om een productieklare oplossing te maken. Maar welke vorm moet deze sjabloon aannemen?
De belangrijkste component is een reeks gemeenschappelijke codes die voor alle data platforms gelden. Deze ‘data sentinel’ is een mix van oplossingen die de behandeling en analyse van de data en de overgang naar industrialisatie vergemakkelijken. De rol van deze afdeling is om toezicht te houden op alle data-stromen en deze te stroomlijnen - zoals het verzamelen van metadata en het opschonen - door modules te ontwikkelen rond data-kwaliteit en -documentatie..
Een data sentinel bevrijdt data teams en specialisten van de alledaagse en repetitieve taken van data beheer. In plaats daarvan kunnen ze zich richten op meer strategische en innovatieve taken die nieuwe waarde voor het bedrijf creëren.
De kern van data sentinel, data governance als code, moet stevig verankerd zijn in het platformontwerp en met elke nieuwe use case worden voortgezet. Dankzij data governance als code is data vanaf het allereerste begin “eigendom”, van hoge kwaliteit, gedocumenteerd, beveiligd en compliant, en gemakkelijk toegankelijk via data-modellen in de hele organisatie..
Innovatie gewoon maken
Data platforms moeten evoluerende producten, bedoeld voor data activering en snelle bedrijfswaarde. Wanneer deze over verschillende gebruikssituaties en vereisten worden verdeeld, ze maken innovatie en uitvindingen sneller en kosteneffectiever. Service mutualisatie kan de implementatiesnelheid met 40% verlagen en afdelingen helpen waarde te genereren door de data kwaliteit en variëteit te bieden die nodig is voor hun use cases..
Bedrijven hebben een constante stroom van nieuwe use cases en producten te ontwikkelen, vooral in het huidige klimaat. Een wederzijdse, data governance as code-aanpak biedt een end-to-end proces waarmee ze deze use cases echt kunnen industrialiseren. Hoogwaardige, nauwkeurige data kan gemakkelijk worden gedeeld tussen projecten en teams via een robuuste, sterk getemplateerde oplossing. Er gaat geen tijd verloren wanneer inzicht nodig is voor een nieuw product.
Technologie alleen is niet genoeg. Om de data platform te laten werken, hebt u een iteratieve en transversale aanpak nodig. Het is de enige manier om innovatie gewoon te maken in uw bedrijf.
Voor het eerst gepubliceerd door ITPortal.nl
