Autor
Das Gebiet der data Technik entwickelt sich schnell weiter. In diesem Artikel werden drei wichtige Trends beschrieben, die sich meiner Meinung nach in den kommenden Jahren durchsetzen werden.
Die Rolle des data Ingenieurs war vor zehn Jahren fast nicht existent. Aber der Bedarf an dieser speziellen Art von Software-Ingenieuren ist gestiegen. Als das Feld reifer wurde, entwickelte sich die Rolle weiter.
Die Aufgaben eines data Ingenieurs sind von Unternehmen zu Unternehmen unterschiedlich, und die Rolle entwickelt sich nicht überall in gleichem Tempo. Ich sehe jedoch, dass sich die Rolle in dreierlei Hinsicht verändert:
Lassen Sie uns auf die Einzelheiten eingehen.
Data werden cloud und SaaS-Produkte in großem Umfang nutzen
Vor zehn Jahren verließen sich die Unternehmen bei der Speicherung ihrer data auf die Infrastruktur vor Ort. Deshalb wurden die ersten großen data Technologien für Umgebungen vor Ort entwickelt. In dieser Zeit verbrachten die Ingenieure von data viel Zeit damit, die Konfiguration ihrer Maschinen zu optimieren, was auf Kosten der Schaffung von Geschäftswerten ging.
Dann kamen die cloud mit dem Versprechen, Dienste bereitzustellen, die sie für Sie verwalten. So können Sie sich auf Ihre geschäftlichen Anforderungen konzentrieren. Das war ein entscheidender Wendepunkt.
Jetzt haben cloud und Technologieunternehmen wie Snowflake und Databricks Big data leicht gemacht. Auch das data ist reifer geworden. Neue data sind in spezifischen Bereichen wie data , data Governance oder data entstanden. Die Integration zwischen diesen Produkten ist nahtlos.
Die Zeiten, in denen die Ingenieure von data ein einziges Tool der Apache Foundation für ihre speziellen Anforderungen hatten, sind längst vorbei. Sie haben eine Vielzahl von Werkzeugen, um die gleiche Aufgabe zu erfüllen. Heutzutage liegt es in der Verantwortung der data Ingenieure, die besten Werkzeuge auszuwählen. Daher müssen sie das Ökosystem gut kennen und wissen, wie sie Benchmarks durchführen und relevante Entscheidungskriterien auswählen können.
Es ist nicht einfach, das richtige Werkzeug für die richtige Aufgabe auszuwählen. Aber auch die Integration von Tools zu einer einheitlichen data Plattform ist eine Herausforderung. Einige data Ingenieure nutzen bereits Infrastruktur als Code, um diese Bausteine zusammenzusetzen und die Bereitstellung der Infrastruktur zu automatisieren. Ich sehe, dass dies eine obligatorische Fähigkeit wird.
Data Ingenieure werden weniger Zeit mit der Programmierung und mehr Zeit mit der Überwachung verbringen
Die Zeiten, in denen data Ingenieure komplexe ETL-Pipelines in Scala und Spark entwickelten, scheinen vorbei zu sein.
Für den Extraktionsteil können Sie jetzt Technologien wie Airbyte verwenden, um Extraktionsaufträge aus vielen verschiedenen Quellen zu planen. Das Laden von Daten ist nicht länger ein Problem. Mit Snowflake ist es zum Beispiel ein Leichtes, eine Datei aus einem Blob-Speicher mit einem Einzeiler-SQL-Befehl in eine Tabelle zu laden.
Was den Transformationsschritt betrifft, so hat dbt ein neues Paradigma eingeführt, bei dem Sie Ihre data in Ihrem data warehouse transformieren und dabei SQL als Primärsprache verwenden. Die Umstellung von ETL auf ELT ist abgeschlossen.
Die Bereitstellung eines Workflows war also noch nie so einfach wie heute, und wir können uns beim modernen data Stack bedanken. Der moderne data Stack ist eine Reihe von Technologien, die darauf abzielen, die Komplexität von data Workflows zu reduzieren und die Geschwindigkeit von data Teams zu erhöhen. Dank des modernen data Stacks können data Analysten jetzt autonom arbeiten. Sie brauchen nicht mehr die Hilfe von data Ingenieuren, um Rohdaten zu sammeln und umzuwandeln data. Aber bedeutet dies, dass data Ingenieure in data Teams nicht mehr notwendig sind? 😟
Ich bin vielleicht voreingenommen, aber ich denke, die Antwort ist NEIN.
Ich vermute, dass sich die Rolle des data -Ingenieurs in Richtung einer mehr betriebsorientierten Rolle entwickeln wird. Die nächste Generation von data Ingenieuren wird sich darauf konzentrieren, die Zuverlässigkeit von data unternehmensweit zu verbessern. Ihre Aufgaben werden sein:
Ähnlich wie bei der Softwareentwicklung vor einigen Jahren mit dem Aufkommen der Software-Reliability-Ingenieure (SRE) könnten wir einen ähnlichen Trend in der Welt von data beobachten. Es wird eine neue Berufsbezeichnung geben: data reliability engineer. Sie werden dafür verantwortlich sein, dass data rechtzeitig verfügbar und vertrauenswürdig ist.
Wir werden mehr data Ingenieure sehen, die für die Definition von Service Level Indicators (SLI) und Service Level Objectives (SLO) verantwortlich sind. Sie werden auch an Bereitschaftsdiensten teilnehmen und auf Zwischenfälle reagieren.
Der Arbeitsalltag eines data Ingenieurs wird sich weiterentwickeln, aber auch die Position innerhalb der Organisation wird sich verändern.
Data Ingenieure werden von Feature-Teams zu Foundation-Teams wechseln
In der Vergangenheit waren die Ingenieure von data Mitglieder von Funktionsteams. Das Problem war, dass dies zu data Silos und einem Mangel an globaler Konsistenz führte. Deshalb haben die Unternehmen begonnen, sich anzupassen und transversale Teams zu bilden.
Die nächste Generation von data Ingenieuren wird nicht an einem bestimmten data Produkt arbeiten. Ihr Ziel wird es sein, Produktteams produktiver zu machen. Um dies zu erreichen, werden sie für die Bereitstellung der richtigen Werkzeuge verantwortlich sein. Genau darum geht es beim data Mesh-Paradigma: verteilte Verantwortung mit einem Basisteam, das alle für die Entwicklung von data Produkten erforderlichen Werkzeuge bereitstellt.
Wenn Sie also das nächste Mal ein Dashboard für reports entwickeln müssen, brauchen Sie kein Feature-Team, das aus einem Product Owner, einem data Analysten und einem data Ingenieur besteht. Der data Analyst wird autonom sein und die vom Basisteam bereitgestellten Tools nutzen, die es ihm ermöglichen, schnell die erforderlichen data zu extrahieren und dann KPIs auf der Grundlage dieser Rohdaten data zu berechnen.
Schlussfolgerung
Der Blick in die Kristallkugel ist ein schwieriges Unterfangen. Die oben geäußerten Meinungen sind mit einer gewissen Unsicherheit behaftet. Aber ich hoffe, dass dieser Artikel auch Sie zum Nachdenken über die Zukunft der Rolle anregt, und ich würde mich freuen, Ihre Gedanken in den Kommentaren zu lesen!
Es ist an der Zeit, meine Kristallkugel für einen Moment zur Seite zu legen und Sie einzuladen, unsere offenen Stellen zu prüfen. Artefact ist der richtige Ort, um über die Zukunft unserer Branche nachzudenken.
