{"id":67000,"date":"2022-05-16T13:54:53","date_gmt":"2022-05-16T12:54:53","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=blog&p=67000"},"modified":"2024-09-20T17:45:49","modified_gmt":"2024-09-20T16:45:49","slug":"what-does-the-future-of-data-engineering-look-like","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/de\/blog\/what-does-the-future-of-data-engineering-look-like\/","title":{"rendered":"Wie sieht die Zukunft der data-Technik aus?"},"content":{"rendered":"

Autor<\/h2><\/div>\"Image\"

Beno\u00eet Goujon<\/h3><\/div>

Data Engineer bei Artefact<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Lesen Sie unseren Artikel \u00fcber<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Der Bereich der data-Technik entwickelt sich schnell weiter. In diesem Artikel werden drei wichtige Trends beschrieben, die sich meiner Meinung nach in den kommenden Jahren durchsetzen werden.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Die Rolle eines data-Ingenieurs war vor zehn Jahren fast nicht existent. Aber der Bedarf an dieser speziellen Art von Software-Ingenieur ist gestiegen. Als das Feld reifer wurde, entwickelte sich die Rolle weiter.<\/p>\n

Die Aufgaben eines data-Ingenieurs variieren von einem Unternehmen zum anderen, und die Rolle entwickelt sich nicht \u00fcberall im gleichen Tempo. Aber ich sehe, dass sich die Rolle in drei Aspekten ver\u00e4ndert:<\/p>\n<\/div>

  • <\/i><\/span>
    Data-Ingenieure werden die cloud-Technologien und SaaS-Produkte massiv nutzen<\/div><\/li>
  • <\/i><\/span>
    Data-Ingenieure verbringen weniger Zeit mit dem Programmieren und mehr mit der \u00dcberwachung<\/div><\/li>
  • <\/i><\/span>
    Data-Ingenieure werden von Feature-Teams zu Foundation-Teams wechseln<\/div><\/li><\/ul>

    Lassen Sie uns auf die Details eingehen.<\/p>\n<\/div>

    Data-Ingenieure werden die cloud-Technologien und SaaS-Produkte massiv nutzen<\/h2><\/div>

    Vor zehn Jahren verlie\u00dfen sich Unternehmen bei der Speicherung ihrer data noch auf die Infrastruktur vor Ort. Das ist der Grund\u00a0die ersten gro\u00dfen data-Technologien wurden f\u00fcr Vor-Ort-Umgebungen entwickelt<\/strong>. In dieser Zeit verbrachten die data-Ingenieure viel Zeit damit, die Konfiguration ihrer Maschinen zu optimieren - auf Kosten der Wertsch\u00f6pfung.<\/p>\n

    Dann,\u00a0cloud-Anbieter kamen mit dem Versprechen, Dienste anzubieten, die sie f\u00fcr Sie verwalten<\/strong>. So k\u00f6nnen Sie sich auf Ihre gesch\u00e4ftlichen Anforderungen konzentrieren. Das ist ein echter Wendepunkt.<\/p>\n

    Jetzt haben cloud-Anbieter und Technologieunternehmen wie Snowflake und Databricks gro\u00dfe data einfach gemacht. Auch das data-\u00d6kosystem ist reifer geworden. Neue data-Startups sind in spezifischen Bereichen wie data-Qualit\u00e4t, data governance oder data-Ingestion entstanden. Die Integration zwischen diesen Produkten ist nahtlos.<\/p>\n<\/div>

    <\/span><\/div>

    Die Zeiten, in denen data-Ingenieure ein einziges Tool der Apache Foundation f\u00fcr ihren speziellen Bedarf hatten, sind l\u00e4ngst vorbei. Sie haben eine Vielzahl von Tools, um die gleiche Aufgabe zu erledigen. Heutzutage liegt es in der Verantwortung der data-Ingenieure, die besten Tools auszuw\u00e4hlen. Daher m\u00fcssen sie das \u00d6kosystem gut kennen und wissen, wie sie Benchmarks durchf\u00fchren und relevante Entscheidungskriterien ausw\u00e4hlen k\u00f6nnen.<\/p>\n

    Die Wahl des richtigen Werkzeugs f\u00fcr die richtige Aufgabe ist nicht einfach. Aber auch die Integration von Tools zu einem einheitlichen data platform ist eine Herausforderung. Einige data-Ingenieure setzen bereits Infrastruktur als Code ein, um diese Bausteine zusammenzusetzen und die Bereitstellung der Infrastruktur zu automatisieren. Ich sehe, dass dies zu einer obligatorischen F\u00e4higkeit wird.<\/p>\n<\/div>

    Data-Ingenieure verbringen weniger Zeit mit dem Programmieren und mehr mit der \u00dcberwachung<\/h2><\/div>

    Die Zeit, in der data-Ingenieure komplexe ETL-Pipelines in Scala und Spark entwickelten, scheint vorbei zu sein.<\/p>\n

    F\u00fcr den Teil der Extraktion k\u00f6nnen Sie jetzt Technologien wie Airbyte verwenden, um Extraktionsauftr\u00e4ge aus vielen verschiedenen Quellen zu planen. Das Laden von Daten ist nicht l\u00e4nger ein Problem. Mit Snowflake ist es beispielsweise ganz einfach, eine Datei aus einem Blob-Speicher mit einem Einzeiler-SQL-Befehl in eine Tabelle zu laden.
    \nWas den Schritt der Transformation betrifft, so hat dbt ein neues Paradigma gebracht, in dem Sie\u00a0Ihr data in Ihr data-Lager umwandeln<\/strong>\u00a0mit SQL als Hauptsprache. Die\u00a0Der Wechsel von ETL zu ELT ist abgeschlossen<\/strong>.<\/p>\n<\/div>

    Die Implementierung eines Workflows war also noch nie so einfach und wir k\u00f6nnen sagen\u00a0Dankesch\u00f6n<\/em>\u00a0zum modernen data-Stack. Der moderne data-Stack ist eine Reihe von Technologien, die darauf abzielen, die Komplexit\u00e4t von data-Workflows zu reduzieren und die Geschwindigkeit von data-Teams zu erh\u00f6hen. Dank des modernen data-Stacks k\u00f6nnen data-Analysten jetzt autonom arbeiten. Sie ben\u00f6tigen nicht mehr die Hilfe von data-Ingenieuren, um data-Rohdaten zu sammeln und umzuwandeln. Aber bedeutet das, dass data-Ingenieure in data-Teams nicht mehr notwendig sind? \ud83d\ude1f
    \nIch bin vielleicht voreingenommen, aber ich denke, die Antwort ist NEIN.<\/p>\n<\/div>

    \"My<\/span><\/div>

    Meine Vermutung ist, dass die\u00a0Die Rolle des data-Ingenieurs wird sich in Richtung einer st\u00e4rker operativ ausgerichteten Rolle entwickeln<\/strong>. Die n\u00e4chste Generation von data-Ingenieuren wird sich auf die Verbesserung der data-Zuverl\u00e4ssigkeit im gesamten Unternehmen konzentrieren. Ihre Aufgaben werden sein:<\/p>\n<\/div>