![\"Image\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/10\/benoit-goujon.jpeg\")
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/04\/Medium-Blog.png\" "\\"Mittel")
<\/span><\/div>Die von dbt organisierte Veranstaltung fand dieses Jahr wieder statt. Sie konnten vor Ort in New Orleans teilnehmen oder die Vortr\u00e4ge online verfolgen.<\/p>\n
Da dbt immer h\u00e4ufiger eingesetzt wird, haben wir uns von dieser Konferenz viel versprochen. Es wurden Sitzungen zu verschiedenen Themen angeboten, die sich nicht auf den Einsatz von dbt beschr\u00e4nkten. Zum Beispiel gab es Sitzungen \u00fcber Karrierewege f\u00fcr data-Teams.<\/p>\n
Ohne lange zu z\u00f6gern, hier sind die wichtigsten Erkenntnisse aus dieser Ausgabe, meiner Meinung nach:<\/p>\n<\/div>
- <\/i><\/span>k\u00f6nnen Sie jetzt\u00a0Ihre Modelle in Python schreiben<\/strong><\/div><\/li>
- <\/i><\/span>
die\u00a0dbt cloud UI und IDE wurden \u00fcberarbeitet<\/strong>\u00a0f\u00fcr eine viel bessere Erfahrung f\u00fcr Entwickler<\/div><\/li>- <\/i><\/span>
\ndbt hat seine eigene Version des\u00a0semantische Schicht<\/strong><\/p>\n<\/div><\/li>
- <\/i><\/span>
\ndbt will sein bei\u00a0das Herzst\u00fcck des modernen data-\u00d6kosystems<\/strong><\/p>\n<\/div><\/li><\/ul>
Lassen Sie uns in die Details eintauchen.<\/p>\n<\/div>
Python-Modelle, endlich!<\/p><\/h2><\/div>
Das war sicherlich die am meisten erwartete Funktion. Sie k\u00f6nnen jetzt Python-Modelle ausf\u00fchren. Das Verhalten ist dem von SQL-Modellen sehr \u00e4hnlich.<\/p>\n
Diese Funktion ist bahnbrechend. Ich denke, dass viele von uns das gleiche Problem mit einem Workflow haben, den wir nicht durchg\u00e4ngig ausf\u00fchren k\u00f6nnen, weil ein oder zwei Operationen in SQL sehr schwierig sind. Das ist schmerzhaft, weil wir eine zus\u00e4tzliche Ebene ben\u00f6tigen. Wir wollen das nicht zwischen dbt und einer anderen Komponente hin und her schieben.<\/p>\n
Dies gilt insbesondere f\u00fcr fortgeschrittene Statistiken, Textmanipulation und alles, was mit ML zu tun hat (Feature Engineering, data-Anreicherung ...). Diese Randf\u00e4lle sind die Zielanwendungsf\u00e4lle von Python-Modellen. Die Produktmanager haben auf der Keynote sehr deutlich gemacht, dass es f\u00fcr\u00a0grundlegende Anwendungsf\u00e4lle, die data-Transformationen implizieren<\/strong>. Das Aufrufen externer APIs wird nicht empfohlen.<\/p>\n
Wie funktioniert es also?<\/p>\n
Erstens, \u00e4hnlich wie bei SQL-Modellen,\u00a0wird der Code auf Ihrem cloud data platform ausgef\u00fchrt.<\/strong><\/p>\n
Zweitens m\u00fcssen Sie, genau wie bei SQL-Modellen, Ihre Syntax je nach der zugrunde liegenden cloud-Plattform anpassen. In SQL m\u00fcssen Sie den entsprechenden SQL-Dialekt verwenden. In Python haben Sie eine\u00a0verschiedene Bibliotheken, die verf\u00fcgbar sein werden.<\/strong><\/p>\n
Die Funktion ist ab heute auf drei data platforms verf\u00fcgbar:<\/p>\n<\/div>
- <\/i><\/span>\n
Schneeflocke<\/p>\n<\/div><\/li>
- <\/i><\/span>
\nBigQuery<\/p>\n<\/div><\/li>
- <\/i><\/span>
\nDatabricks<\/p>\n<\/div><\/li><\/ul>
Wenn Sie zum Beispiel Snowflake verwenden, k\u00f6nnen Sie Snowpark f\u00fcr Ihre Transformationen nutzen. Beachten Sie, dass diese Funktion noch in den Kinderschuhen steckt, wie Eda Johnson und Venkatesh Sekar in ihrem Vortrag \u201cEmpowering pythonistas with dbt and snowpark\u201d erw\u00e4hnen. snowpark befindet sich noch in der \u00f6ffentlichen Vorschau.<\/p>\n
Wie w\u00e4hrend der Keynote gesagt wurde, gibt es\u00a0Raum f\u00fcr Verbesserungen<\/a>\u00a0um der Erfahrung eines Python-Softwareingenieurs n\u00e4her zu kommen (Erleichterung der Wiederverwendung von Code \u00fcber verschiedene Modelle hinweg, Bereitstellung von Testfunktionen und Verwendung von Docstrings f\u00fcr die Dokumentation ...).<\/p>\n<\/div>
Eine Menge Verbesserungen f\u00fcr dbt cloud<\/p><\/h2><\/div>
Vor ein paar Monaten erschien ein Blogbeitrag mit dem Titel\u00a0\u201cWir m\u00fcssen \u00fcber dbt sprechen\u201d<\/a>, geschrieben von Petram Navid, hat Wellen geschlagen. Tristan Handy, der CEO von dbt labs,\u00a0antwortete<\/a>\u00a0zu Pedrams Bedenken, insbesondere zu denen \u00fcber dbt cloud. In der Tat hat der langj\u00e4hrige dbt-Anwender im urspr\u00fcnglichen Blogbeitrag auf die schlechten Erfahrungen hingewiesen, die er mit dbt cloud gemacht hat. Tristan stimmte zu, dass sie hart daran arbeiten sollten, die Erfahrung der Entwickler zu verbessern.<\/p>\n
Und das haben sie! Diese Woche k\u00fcndigte dbt Labs eine komplette \u00dcberarbeitung der cloud IDE, Verbesserungen der Benutzeroberfl\u00e4che und eine Verringerung der Latenzzeit f\u00fcr g\u00e4ngige Operationen wie das Speichern einer Datei an.<\/p>\n
Das sind gute Neuigkeiten f\u00fcr dbt cloud-Anwender!<\/p>\n<\/div>
Die semantische Ebene ist eine strukturelle Ver\u00e4nderung in der Art und Weise, wie Sie Ihr data verwalten.<\/p><\/h2><\/div>
Das ist ein hei\u00dfes Thema!<\/p>\n
W\u00e4hrend der Keynote definierten die Redner die semantische Ebene als\u00a0\u201cdie \u201cPlattform f\u00fcr die Kompilierung und den Zugriff auf dbt-Assets in nachgelagerten Tools\u201d.<\/em><\/p>\n
Die semantische Schicht zielt darauf ab, gemeinsame data governance-Herausforderungen zu l\u00f6sen:<\/p>\n<\/div>
- <\/i><\/span>\n
das Fehlen einer angemessenen\u00a0Zugangsverwaltung<\/strong><\/p>\n<\/div><\/li>
- <\/i><\/span>
\ndie\u00a0Vervielf\u00e4ltigung<\/strong>\u00a0von data-Aktiva, was zu technischen Schulden und\u00a0Inkonsistenz<\/strong>\u00a0zwischen Ihren KPIs<\/p>\n<\/div><\/li>
- <\/i><\/span>
\ndie fehlende Dokumentation Ihrer data-Assets, gepaart mit\u00a0Auffindbarkeit<\/strong>\u00a0Ausgaben<\/p>\n<\/div><\/li><\/ul>
Das Ziel ist es, den Anwendungsbereich von dbt zu erweitern. Im Moment ist der Anwendungsbereich auf die Transformationsschicht beschr\u00e4nkt. Wir k\u00f6nnten diese semantische Schicht auf der Transformationsschicht hinzuf\u00fcgen.<\/p>\n
Das macht Sinn. In Version 1.0 waren Metriken eingef\u00fchrt worden. Dies war der erste Schritt in Richtung der Vision einer semantischen Schicht.<\/p>\n<\/div>
dbt im Herzen des modernen data-Stack-\u00d6kosystems<\/p><\/h2><\/div>
Was mir bei dieser Konferenz aufgefallen ist, ist die Anzahl der angek\u00fcndigten Partnerschaften. Au\u00dferdem wurde ein Gro\u00dfteil der Vortr\u00e4ge von Partnern gehalten.<\/p>\n
Softwareanbieter wie Atlan, Collibra oder MonteCarlo m\u00fcssen sich in dbt integrieren, weil ihre Kunden sie darum gebeten haben. dbt wird langsam zum Standard f\u00fcr data-Transformationen. Sie m\u00f6chten Ihre Transformationen in Ihrer globalen data-Abstammung sehen, die m\u00f6glicherweise mit einem externen Tool wie Collibra verwaltet werden. Sie m\u00f6chten auch die Ergebnisse Ihrer dbt-Tests mit Ihrem bevorzugten Tool \u00fcberwachen usw. Sie ben\u00f6tigen eine Integration zwischen Ihren Tools.<\/p>\n
Im Gegensatz zu dataform, dem bisher einzigen Konkurrenten von dbt, habe ich das Gef\u00fchl, dass dbt labs cloud-neutral bleiben m\u00f6chte. Sie bieten viele Integrationen mit Nischenl\u00f6sungen an, um zum Beispiel Ihre data-Qualit\u00e4t oder Ihre Metadata besser zu verwalten.<\/p>\n<\/div>
Fazit<\/h2><\/div>
Das war's dann wohl! Diese Ausgabe war sehr reichhaltig. Und wir beenden diese Woche mit vielen Diskussionen \u00fcber die Ank\u00fcndigungen. Das ist es, was diesen Job so spannend macht!<\/p>\n
Wo wir gerade dabei sind, wir\u00a0mieten<\/a>\u00a0bei Artefact! Ich bin sicher, Sie haben es nicht kommen sehen \ud83d\ude09 .<\/p>\n<\/div><\/div><\/div><\/div><\/article>
- <\/i><\/span>
- <\/i><\/span>
- <\/i><\/span>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/03\/medium.png\" "\\"mittel\\"")
<\/span><\/div>