![\"Image\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/10\/benoit-goujon.jpeg\")
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/04\/Medium-Blog.png\" "\\"Medium")
<\/span><\/div>De rol van een data engineer bestond tien jaar geleden bijna niet. Maar de behoefte aan dit specifieke soort software engineer is gegroeid. Naarmate het vakgebied volwassener werd, evolueerde de rol.<\/p>\n
De verantwoordelijkheden van een data engineer verschillen van bedrijf tot bedrijf en de rol evolueert niet overal even snel. Maar ik zie de rol in drie aspecten veranderen:<\/p>\n<\/div>
- <\/i><\/span>Data ingenieurs zullen massaal gebruik maken van cloud technologie\u00ebn en SaaS-producten<\/div><\/li>
- <\/i><\/span>
Data technici besteden minder tijd aan coderen en meer tijd aan bewaking<\/div><\/li>- <\/i><\/span>
Data ingenieurs wisselen van feature teams naar foundation teams<\/div><\/li><\/ul>Laten we de details bekijken.<\/p>\n<\/div>
Data ingenieurs zullen massaal gebruik maken van cloud technologie\u00ebn en SaaS-producten<\/h2><\/div>
Tien jaar geleden vertrouwden bedrijven op on-premise infrastructuur voor de opslag van hun data. Dit is de reden waarom\u00a0de eerste grote data technologie\u00ebn werden gebouwd voor on-premise omgevingen<\/strong>. Tijdens dit tijdperk besteedden data engineers veel tijd aan het afstemmen van de configuratie van hun machines ten koste van het cre\u00ebren van bedrijfswaarde.<\/p>\n
Dan,\u00a0cloud providers kwamen met de belofte om diensten te leveren die zij voor u beheren<\/strong>. Zo kunt u zich richten op uw zakelijke behoeften. Dit is een game-changer geweest.<\/p>\n
Nu hebben cloud providers en technische bedrijven zoals Snowflake en Databricks grote data gemakkelijk gemaakt. Het data ecosysteem is ook volwassener geworden. Nieuwe data startups ontstonden op specifieke gebieden zoals data kwaliteit, data governance, of data ingestion. De integratie tussen deze producten is naadloos.<\/p>\n<\/div>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/05\/article-benoit1.png\" "\\"artikel-benoit1\\"")
<\/span><\/div>De tijd dat data-technici \u00e9\u00e9n hulpmiddel van de Apache Foundation hadden voor hun specifieke behoefte, is al lang voorbij. Ze hebben een ontelbaar aantal tools om hetzelfde te doen. Tegenwoordig hebben data engineers de verantwoordelijkheid om de beste tools te kiezen. Daarom moeten ze een goede kennis hebben van het ecosysteem en weten hoe ze benchmarks moeten uitvoeren en relevante beslissingscriteria moeten kiezen.<\/p>\n
Het juiste gereedschap voor de juiste taak kiezen is niet eenvoudig. Maar tools integreren tot een consistente data platform is ook een uitdaging. Sommige data engineers maken al gebruik van infrastructure as code om deze bouwstenen samen te stellen en de implementatie van infrastructuur te automatiseren. Ik zie dit een verplichte vaardigheid worden.<\/p>\n<\/div>
Data technici besteden minder tijd aan coderen en meer tijd aan bewaking<\/h2><\/div>
De tijd dat data engineers complexe ETL-pijplijnen ontwikkelden in Scala en Spark lijkt voorbij.<\/p>\n
Voor het extractiegedeelte kunt u nu technologie\u00ebn zoals Airbyte gebruiken om extractietaken van veel verschillende bronnen te plannen. Het laden is niet langer een pijnpunt. Snowflake heeft het bijvoorbeeld gemakkelijk gemaakt om een bestand vanuit blob-opslag in een tabel te laden met een SQL-commando.
\nWat de transformatiestap betreft, bracht dbt een nieuw paradigma waarin u\u00a0transformeer uw data in uw data magazijn<\/strong>\u00a0met SQL als primaire taal. De\u00a0verschuiving van ETL naar ELT is voltooid<\/strong>.<\/p>\n<\/div>Een workflow implementeren is dus nog nooit zo eenvoudig geweest en we kunnen zeggen\u00a0hartelijk dank<\/em>\u00a0naar de moderne data stack. De moderne data stack is een verzameling technologie\u00ebn die tot doel hebben de complexiteit van data workflows te verminderen en de snelheid van data teams te verhogen. Dankzij de moderne data stack kunnen data analisten nu autonoom werken. Ze hebben niet langer de hulp van data engineers nodig om ruwe data te verzamelen en te transformeren. Maar betekent dit dat data ingenieurs niet langer nodig zijn in data teams? \ud83d\ude1f
\nIk ben misschien bevooroordeeld, maar ik denk dat het antwoord NEE is.<\/p>\n<\/div>![\"My](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/05\/article-benoit2.jpeg\" "\\"artikel-benoit2\\"")
<\/span><\/div>Mijn gok is dat de\u00a0de rol van data engineer zal evolueren naar een meer ops-geori\u00ebnteerde rol<\/strong>. De volgende generatie data ingenieurs zal zich richten op het verbeteren van de betrouwbaarheid van data in het hele bedrijf. Hun verantwoordelijkheden zullen zijn:<\/p>\n<\/div>
- <\/i><\/span>de uitvoering van data-workflows bewaken en waarschuwingen configureren in geval van incidenten<\/div><\/li>
- <\/i><\/span>
de onderliggende infrastructuur van data use cases implementeren<\/div><\/li>- <\/i><\/span>
CI\/CD-pijplijnen maken om de correctheid van code te verifi\u00ebren en implementaties te automatiseren<\/div><\/li>- <\/i><\/span>
\naltijd de kwaliteit van data garanderen<\/p>\n<\/div><\/li><\/ul>
Net als wat we een paar jaar geleden zagen bij softwareontwikkeling met de opkomst van software reliability engineers (SRE), zien we misschien een soortgelijke trend in de data-wereld. Er komt een nieuwe functietitel:\u00a0de data-betrouwbaarheidsingenieur<\/strong>. Zij zullen verantwoordelijk zijn voor\u00a0ervoor zorgen dat data op tijd beschikbaar en betrouwbaar is<\/strong>.<\/p>\n
We zullen zien dat meer data engineers verantwoordelijk zijn voor het defini\u00ebren van Service Level Indicators (SLI) en Service Level Objectives (SLO). Ze zullen ook deelnemen aan oproeprondes en reageren op incidenten.
\nHet dagelijkse werk van een data engineer zal evolueren, maar de positie binnen de organisatie zal ook veranderen.<\/p>\n<\/div>Data ingenieurs wisselen van feature teams naar foundation teams<\/h2><\/div>
Historisch gezien waren data engineers lid van feature teams. Het probleem is dat dit leidde tot data silo's en een gebrek aan globale consistentie. Daarom begonnen bedrijven zich aan te passen door transversale teams te cre\u00ebren.<\/p>\n
De volgende generatie data ingenieurs zal niet werken aan een bepaald data product. Hun doel zal zijn om\u00a0Productteams productiever maken<\/strong>. Om dit te kunnen doen, zijn ze verantwoordelijk voor het leveren van de juiste set hulpmiddelen. Dit is waar het data mesh-paradigma om draait:\u00a0gedistribueerd eigendom met een funderingsteam dat alle benodigde hulpmiddelen biedt<\/strong>\u00a0om data producten te bouwen.<\/p>\n<\/div>
Dus de volgende keer dat u een dashboard voor financieel reports moet ontwikkelen, heeft u geen feature team nodig dat bestaat uit een product owner, een data analist en een data engineer. De data analist zal autonoom zijn en gebruik maken van de tools die het foundation team heeft ingezet, zodat hij snel de benodigde data kan extraheren en vervolgens KPI's kan berekenen op deze ruwe data.<\/p>\n<\/div>
Conclusie<\/h2><\/div>
Kijken naar de kristallen schaal is een moeilijke oefening. Er is een beetje onzekerheid verbonden aan de bovenstaande meningen. Maar ik hoop dat dit artikel u ook aan het denken zet over de toekomst van de rol en ik lees graag uw gedachten in de reacties!<\/p>\n
Tijd om mijn kristallen schaal even opzij te zetten en u uit te nodigen om onze\u00a0openstaande posities<\/a>. Artefact<\/a> is de juiste plaats om na te denken over de toekomst van ons vakgebied.<\/p>\n<\/div><\/div><\/div><\/div><\/article>
- <\/i><\/span>
- <\/i><\/span>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/03\/medium.png\" "\\"middelgrote\\"")
<\/span><\/div>