Auteur
Het vakgebied data engineering evolueert snel. Dit artikel beschrijft drie belangrijke trends die ik de komende jaren prominent zie worden.
De rol van een data engineer bestond tien jaar geleden bijna niet. Maar de behoefte aan dit soort software engineer is gegroeid. Naarmate het vakgebied volwassener werd, evolueerde de rol.
De verantwoordelijkheden van een data engineer verschillen van organisatie tot en de rol evolueert niet overal even snel. Maar ik zie de rol in drie aspecten veranderen:
Laten we de details bekijken.
Data zullen massaal gebruikmaken van cloud en SaaS-producten
Tien jaar geleden vertrouwden bedrijven op een on-premise infrastructuur voor de opslag van hun data. Daarom werden de eerste grote data technologieën gebouwd voor on-premise omgevingen. In dit tijdperk besteedden data engineers veel tijd aan het afstellen van de configuratie van hun machines ten koste van het creëren van bedrijfswaarde.
Toen kwamencloud met de belofte dat ze services zouden leveren die ze voor je beheren. Zo kunt u zich richten op uw zakelijke behoeften. Dit was een game-changer.
Nu hebben cloud en technologiebedrijven zoals Snowflake en Databricks big data gemakkelijk gemaakt. Het data is ook volwassener geworden. Er zijn nieuwe data startups ontstaan op specifieke gebieden zoals data , data governance of data ingestion. De integratie tussen deze producten is naadloos.
De tijd dat data engineers één tool van de Apache Foundation hadden voor hun specifieke behoefte is al lang voorbij. Ze hebben een groot aantal tools om hetzelfde te doen. Tegenwoordig hebben data engineers de verantwoordelijkheid om de beste tools te kiezen. Daarom moeten ze een goede kennis hebben van het ecosysteem en weten hoe ze benchmarks moeten uitvoeren en relevante beslissingscriteria moeten kiezen.
De juiste tool voor de juiste taak kiezen is niet eenvoudig. Maar het integreren van tools tot een consistent data platform is ook een uitdaging. Sommige data engineers maken al gebruik van infrastructure as code om deze bouwstenen samen te voegen en de implementatie van infrastructuur te automatiseren. Ik zie dit een verplichte vaardigheid worden.
Data technici minder tijd kwijt zijn aan coderen en meer aan controleren
De tijd dat data engineers complexe ETL-pijplijnen ontwikkelden in Scala en Spark lijkt voorbij.
Voor het extractiegedeelte kun je nu technologieën zoals Airbyte gebruiken om extractietaken van veel verschillende bronnen te plannen. Het laden is niet langer een pijnpunt. Snowflake maakte het bijvoorbeeld gemakkelijk om een bestand vanuit een blob-opslag in een tabel te laden met een SQL-commando.
Wat de transformatiestap betreft, bracht dbt een nieuw paradigma waarin je data in je data warehouse transformeert met SQL als primaire taal. De verschuiving van ETL naar ELT is compleet.
Het implementeren van een workflow is dus nog nooit zo eenvoudig geweest en we kunnen de moderne data stack daarvoor bedanken. De moderne data stack is een verzameling technologieën die tot doel hebben de complexiteit van data workflows te verminderen en de snelheid van data teams te verhogen. Dankzij de moderne data stack kunnen data analisten nu autonoom zijn. Ze hebben niet langer de hulp nodig van data ingenieurs om ruwe data te verzamelen en te transformeren. Maar betekent dit dat data ingenieurs niet langer nodig zijn in data teams? 😟
Ik ben misschien bevooroordeeld, maar ik denk dat het antwoord NEE is.
Ik denk dat de rol van data engineer zal evolueren naar een meer ops-georiënteerde rol. De volgende generatie data ingenieurs zal zich richten op het verbeteren van de betrouwbaarheid van data op organisatie. Hun verantwoordelijkheden zullen zijn:
Net als wat we een paar jaar geleden zagen bij softwareontwikkeling met de opkomst van software reliability engineers (SRE), zien we misschien een soortgelijke trend in de data wereld. Er komt een nieuwe functietitel: de data reliability engineer. Zij zullen ervoor moeten zorgen dat data op tijd beschikbaar en betrouwbaar is.
We zullen zien dat meer data engineers verantwoordelijk zijn voor het definiëren van Service Level Indicators (SLI) en Service Level Objectives (SLO). Ze zullen ook deelnemen aan oproeprondes en reageren op incidenten.
Het dagelijkse werk van een data engineer zal veranderen, maar ook de positie binnen de organisatie.
Data ingenieurs wisselen van teams van functies naar teams van funderingen
Historisch gezien waren data engineers lid van feature teams. Het probleem is dat dit leidde tot data silo's en een gebrek aan globale consistentie. Daarom begonnen bedrijven zich aan te passen door transversale teams te creëren.
De volgende generatie data engineers zal niet werken aan een bepaald data product. Hun doel zal zijn om productteams productiever te maken. Om dit te doen, zullen ze verantwoordelijk zijn voor het leveren van de juiste set tools. Dit is waar het data mesh paradigma om draait: gedistribueerd eigendom met een foundation team dat alle tools levert die nodig zijn om data producten te bouwen.
Dus de volgende keer dat je een dashboard moet ontwikkelen voor financiële reports, heb je geen feature team nodig dat bestaat uit een product owner, een data analist en een data engineer. De data analist zal autonoom zijn en gebruik maken van de tools die het foundation team heeft ingezet, zodat hij snel de benodigde data kan extraheren en vervolgens KPI's kan berekenen op deze ruwe data.
Conclusie
Kijken naar de kristallen schaal is een moeilijke oefening. Er is een beetje onzekerheid verbonden aan de meningen die hierboven worden geuit. Maar ik hoop dat dit artikel je ook aan het denken zet over de toekomst van de rol en ik lees graag je gedachten in de comments!
Tijd om mijn kristallen schaal even opzij te zetten en je uit te nodigen om onze openstaande vacatures te bekijken. Artefact is de juiste plaats om na te denken over de toekomst van ons vakgebied.
