![\"Image\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/10\/benoit-goujon.jpeg\")
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/04\/Medium-Blog.png\" "\\"Moyen")
<\/span><\/div>L'\u00e9v\u00e9nement organis\u00e9 par dbt \u00e9tait de retour cette ann\u00e9e. Vous pouvez y assister physiquement \u00e0 la Nouvelle-Orl\u00e9ans ou regarder les conf\u00e9rences en ligne.<\/p>\n
L'adoption de la dbt \u00e9tant en hausse, nous attendions beaucoup de cette conf\u00e9rence. Des sessions sur diff\u00e9rents sujets ne se limitant pas \u00e0 l'utilisation de la dbt ont \u00e9t\u00e9 propos\u00e9es. Par exemple, il y a eu des sessions sur les parcours de carri\u00e8re pour les \u00e9quipes data.<\/p>\n
Sans plus attendre, voici les principaux enseignements de cette \u00e9dition selon moi :<\/p>\n<\/div>
- <\/i><\/span>vous pouvez maintenant\u00a0\u00e9crire vos mod\u00e8les en Python<\/strong><\/div><\/li>
- <\/i><\/span>
les\u00a0dbt cloud L'interface utilisateur et l'IDE ont \u00e9t\u00e9 r\u00e9organis\u00e9s<\/strong>\u00a0pour une meilleure exp\u00e9rience des d\u00e9veloppeurs<\/div><\/li>- <\/i><\/span>
\ndbt a introduit sa propre version de la\u00a0couche s\u00e9mantique<\/strong><\/p>\n<\/div><\/li>
- <\/i><\/span>
\ndbt vise \u00e0 \u00eatre \u00e0\u00a0le c\u0153ur de l'\u00e9cosyst\u00e8me moderne data<\/strong><\/p>\n<\/div><\/li><\/ul>
Entrons dans les d\u00e9tails.<\/p>\n<\/div>
Les mod\u00e8les Python, enfin !<\/p><\/h2><\/div>
C'\u00e9tait certainement la fonctionnalit\u00e9 la plus attendue. Vous pouvez d\u00e9sormais ex\u00e9cuter des mod\u00e8les Python. Le comportement est tr\u00e8s similaire \u00e0 celui des mod\u00e8les SQL.<\/p>\n
Cette fonctionnalit\u00e9 change la donne. Je pense que nous sommes nombreux \u00e0 rencontrer le m\u00eame probl\u00e8me avec un flux de travail que nous ne pouvons pas ex\u00e9cuter de bout en bout \u00e0 cause d'une ou deux op\u00e9rations qui sont tr\u00e8s d\u00e9licates \u00e0 r\u00e9aliser en SQL. C'est p\u00e9nible parce que nous avons besoin d'une couche suppl\u00e9mentaire. Nous ne voulons pas g\u00e9rer ce va-et-vient entre dbt et un autre composant.<\/p>\n
C'\u00e9tait le cas en particulier pour les statistiques avanc\u00e9es, la manipulation de texte et tout ce qui est li\u00e9 au ML (feature engineering, enrichissement data ...). Ces cas limites sont les cas d'utilisation cibles des mod\u00e8les Python. Les chefs de produit ont \u00e9t\u00e9 tr\u00e8s clairs lors de la keynote sur le fait qu'il s'agira de\u00a0les cas d'utilisation de base qui impliquent des transformations data<\/strong>. Il n'est pas recommand\u00e9 d'appeler des API externes.<\/p>\n
Comment cela fonctionne-t-il ?<\/p>\n
Premi\u00e8rement, comme les mod\u00e8les SQL,\u00a0le code sera ex\u00e9cut\u00e9 sur votre cloud data platform.<\/strong><\/p>\n
Deuxi\u00e8mement, de la m\u00eame mani\u00e8re que pour les mod\u00e8les SQL, vous devez adapter votre syntaxe en fonction de la plateforme cloud sous-jacente. En SQL, vous devez utiliser le dialecte SQL appropri\u00e9. En Python, vous disposez d'un\u00a0un ensemble diff\u00e9rent de biblioth\u00e8ques qui seront disponibles.<\/strong><\/p>\n
Cette fonctionnalit\u00e9 est disponible sur trois data platforms d\u00e8s aujourd'hui :<\/p>\n<\/div>
- <\/i><\/span>\n
Flocon de neige<\/p>\n<\/div><\/li>
- <\/i><\/span>
\nBigQuery<\/p>\n<\/div><\/li>
- <\/i><\/span>
\nDatabricks<\/p>\n<\/div><\/li><\/ul>
Par exemple, si vous utilisez Snowflake, vous pouvez utiliser Snowpark pour vos transformations. Notez que cette fonctionnalit\u00e9 n'en est qu'\u00e0 ses d\u00e9buts, comme l'ont mentionn\u00e9 Eda Johnson et Venkatesh Sekar dans leur pr\u00e9sentation \u201cEmpowering pythonistas with dbt and snowpark\u201d. snowpark est encore en phase d'aper\u00e7u public.<\/p>\n
Comme indiqu\u00e9 lors de la conf\u00e9rence de presse, il y a\u00a0une marge d'am\u00e9lioration<\/a>\u00a0pour se rapprocher de l'exp\u00e9rience d'un ing\u00e9nieur logiciel Python (faciliter la r\u00e9utilisation du code \u00e0 travers les mod\u00e8les, fournir des capacit\u00e9s de test, et utiliser des docstrings pour la documentation...).<\/p>\n<\/div>
Beaucoup d'am\u00e9liorations pour dbt cloud<\/p><\/h2><\/div>
Il y a quelques mois, un billet de blog intitul\u00e9\u00a0\u201cNous devons parler de la dbt\u201d<\/a>, L'article intitul\u00e9 \"L'avenir de l'Europe\", \u00e9crit par Petram Navid, a fait des vagues. Tristan Handy, PDG de dbt labs,\u00a0a r\u00e9pondu<\/a>\u00a0aux pr\u00e9occupations de Pedram, en particulier celles concernant le dbt cloud. En effet, dans le billet de blog original, le praticien de longue date de dbt a soulign\u00e9 la mauvaise exp\u00e9rience qu'il a eue avec dbt cloud. Tristan a convenu qu'ils devraient travailler dur pour am\u00e9liorer l'exp\u00e9rience des d\u00e9veloppeurs.<\/p>\n
Et ils l'ont fait ! Cette semaine, dbt Labs a annonc\u00e9 une refonte compl\u00e8te de l'IDE cloud, des am\u00e9liorations de l'interface utilisateur et une r\u00e9duction de la latence pour les op\u00e9rations courantes telles que l'enregistrement d'un fichier.<\/p>\n
C'est une bonne nouvelle pour les utilisateurs de dbt cloud !<\/p>\n<\/div>
La couche s\u00e9mantique est un changement structurel dans la fa\u00e7on dont vous g\u00e9rez votre data<\/p><\/h2><\/div>
C'est un sujet br\u00fblant !<\/p>\n
Au cours de la conf\u00e9rence, les orateurs ont d\u00e9fini la couche s\u00e9mantique comme suit\u00a0\u201cla \u201cplateforme de compilation et d'acc\u00e8s aux actifs de la dbt dans les outils en aval\u201d.<\/em><\/p>\n
La couche s\u00e9mantique vise \u00e0 r\u00e9soudre les probl\u00e8mes courants li\u00e9s \u00e0 la data governance :<\/p>\n<\/div>
- <\/i><\/span>\n
l'absence d'une\u00a0gestion de l'acc\u00e8s<\/strong><\/p>\n<\/div><\/li>
- <\/i><\/span>
\nles\u00a0duplication<\/strong>\u00a0des actifs de data, ce qui se traduit par une dette technique et une perte de revenus.\u00a0incoh\u00e9rence<\/strong>\u00a0entre vos ICP<\/p>\n<\/div><\/li>
- <\/i><\/span>
\nl'absence de documentation sur vos actifs data, qui s'ajoute \u00e0 l'absence de documentation sur vos actifs data\u00a0d\u00e9couvrabilit\u00e9<\/strong>\u00a0questions<\/p>\n<\/div><\/li><\/ul>
L'objectif est d'\u00e9tendre le champ d'application de dbt. Pour l'instant, le champ d'application est limit\u00e9 \u00e0 la couche de transformation. Nous pourrions ajouter cette couche s\u00e9mantique au-dessus de la couche de transformation.<\/p>\n
C'est logique. Dans la version 1.0, les m\u00e9triques ont \u00e9t\u00e9 introduites. C'\u00e9tait le premier pas vers la vision d'une couche s\u00e9mantique.<\/p>\n<\/div>
dbt au c\u0153ur de l'\u00e9cosyst\u00e8me moderne de la pile data<\/p><\/h2><\/div>
Ce qui m'a frapp\u00e9 lors de cette conf\u00e9rence, c'est le nombre de partenariats annonc\u00e9s. De plus, la majorit\u00e9 des expos\u00e9s ont \u00e9t\u00e9 donn\u00e9s par des partenaires.<\/p>\n
Les fournisseurs de logiciels comme Atlan, Collibra ou MonteCarlo doivent s'int\u00e9grer \u00e0 dbt parce que leurs clients le leur ont demand\u00e9. dbt devient lentement la norme pour la transformation data. Vous voulez voir vos transformations dans votre lign\u00e9e data globale qui pourrait \u00eatre g\u00e9r\u00e9e avec un outil externe comme Collibra. Vous souhaitez \u00e9galement contr\u00f4ler les r\u00e9sultats de vos tests dbt avec votre outil pr\u00e9f\u00e9r\u00e9, etc. Vous avez besoin d'une int\u00e9gration entre vos outils.<\/p>\n
Contrairement \u00e0 dataform, le seul concurrent de dbt \u00e0 ce jour, j'ai le sentiment que dbt labs souhaite rester neutre en mati\u00e8re de cloud. Ils proposent de nombreuses int\u00e9grations avec des solutions de niche pour mieux g\u00e9rer la qualit\u00e9 de votre data ou votre metadata par exemple.<\/p>\n<\/div>
Conclusion<\/h2><\/div>
C'est termin\u00e9 ! Cette \u00e9dition a \u00e9t\u00e9 tr\u00e8s riche. Et nous terminons cette semaine avec beaucoup de discussions sur les annonces. C'est ce qui rend ce travail passionnant !<\/p>\n
\u00c0 ce propos, nous\u00a0embaucher<\/a>\u00a0\u00e0 Artefact ! Je suis s\u00fbr que vous ne l'avez pas vu venir \ud83d\ude09<\/p>\n<\/div><\/div><\/div><\/div><\/article>
- <\/i><\/span>
- <\/i><\/span>
- <\/i><\/span>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/03\/medium.png\" "\\"moyen\\"")
<\/span><\/div>