![\"Image\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/10\/benoit-goujon.jpeg\")
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/04\/Medium-Blog.png\" "\\"Mediano")
<\/span><\/div>El evento organizado por dbt volvi\u00f3 este a\u00f1o. Pod\u00eda asistir f\u00edsicamente en Nueva Orleans o ver las charlas en l\u00ednea.<\/p>\n
Dado que la adopci\u00f3n de la dbt est\u00e1 aumentando, esper\u00e1bamos mucho de esta conferencia. Se propusieron sesiones sobre diferentes temas que no se limitaban al uso de la dbt. Por ejemplo, hubo sesiones sobre las trayectorias profesionales de los equipos data.<\/p>\n
Sin m\u00e1s dilaci\u00f3n, he aqu\u00ed las lecciones clave de esta edici\u00f3n en mi opini\u00f3n:<\/p>\n<\/div>
- <\/i><\/span>ahora puede\u00a0escriba sus modelos en Python<\/strong><\/div><\/li>
- <\/i><\/span>
el\u00a0dbt cloud La interfaz de usuario y el IDE se han renovado<\/strong>\u00a0para una experiencia mucho mejor del desarrollador<\/div><\/li>- <\/i><\/span>
\ndbt introdujo su propia versi\u00f3n del\u00a0capa sem\u00e1ntica<\/strong><\/p>\n<\/div><\/li>
- <\/i><\/span>
\ndbt pretende estar a\u00a0el coraz\u00f3n del moderno ecosistema data<\/strong><\/p>\n<\/div><\/li><\/ul>
Sumerj\u00e1monos en los detalles.<\/p>\n<\/div>
Modelos Python, \u00a1por fin!<\/p><\/h2><\/div>
Sin duda era la caracter\u00edstica m\u00e1s esperada. Ahora puede ejecutar modelos Python. El comportamiento es muy similar al de los modelos SQL.<\/p>\n
Esta funci\u00f3n cambia las reglas del juego. Creo que somos muchos los que experimentamos el mismo problema con un flujo de trabajo que no podemos ejecutar de extremo a extremo debido a una o dos operaciones que son muy complicadas de realizar en SQL. Esto es doloroso porque necesitamos una capa adicional. No queremos gestionar este ir y venir entre dbt y otro componente.<\/p>\n
Este fue el caso en particular de la estad\u00edstica avanzada, la manipulaci\u00f3n de textos y todo lo relacionado con el ML (ingenier\u00eda de caracter\u00edsticas, enriquecimiento data...). Esos casos extremos son los casos de uso objetivo de los modelos Python. Los responsables de producto han dejado muy claro durante la keynote que ser\u00e1 para\u00a0casos de uso b\u00e1sicos que implican transformaciones data<\/strong>. No se recomienda llamar a API externas.<\/p>\n
Entonces, \u00bfc\u00f3mo funciona?<\/p>\n
En primer lugar, de forma similar a los modelos SQL,\u00a0el c\u00f3digo se ejecutar\u00e1 en su cloud data platform.<\/strong><\/p>\n
En segundo lugar, al igual que en los modelos SQL, deber\u00e1 adaptar su sintaxis en funci\u00f3n de la plataforma cloud subyacente. En SQL, debe utilizar el dialecto SQL apropiado. En Python, dispone de un\u00a0conjunto diferente de bibliotecas que estar\u00e1n disponibles.<\/strong><\/p>\n
La funci\u00f3n est\u00e1 disponible en tres data platforms a partir de hoy:<\/p>\n<\/div>
- <\/i><\/span>\n
Copo de nieve<\/p>\n<\/div><\/li>
- <\/i><\/span>
\nBigQuery<\/p>\n<\/div><\/li>
- <\/i><\/span>
\nDatabricks<\/p>\n<\/div><\/li><\/ul>
Por ejemplo, si utiliza Snowflake, puede aprovechar snowpark para sus transformaciones. Tenga en cuenta que esta funci\u00f3n est\u00e1 a\u00fan en sus inicios, como mencionaron Eda Johnson y Venkatesh Sekar en su charla \u201cEmpowering pythonistas with dbt and snowpark\u201d. snowpark est\u00e1 a\u00fan en fase de vista previa p\u00fablica.<\/p>\n
Como se dijo durante el discurso de apertura, hay\u00a0margen de mejora<\/a>\u00a0para acercarse m\u00e1s a la experiencia de un ingeniero de software de Python (facilitar la reutilizaci\u00f3n de c\u00f3digo entre modelos, proporcionar capacidades de prueba y utilizar docstrings para la documentaci\u00f3n...).<\/p>\n<\/div>
Muchas mejoras para el dbt cloud<\/p><\/h2><\/div>
Hace unos meses, una entrada de blog titulada\u00a0\u201cTenemos que hablar de la tbd\u201d<\/a>, escrito por Petram Navid caus\u00f3 sensaci\u00f3n. Tristan Handy, director general de dbt labs,\u00a0respondi\u00f3<\/a>\u00a0a las preocupaciones de Pedram, especialmente las relativas al dbt cloud. De hecho, en la entrada original del blog, el veterano practicante de dbt se\u00f1alaba la mala experiencia que hab\u00eda tenido con dbt cloud. Tristan estuvo de acuerdo en que deber\u00edan trabajar duro para mejorar la experiencia de los desarrolladores.<\/p>\n
\u00a1Y lo han hecho! Esta semana, dbt Labs ha anunciado una renovaci\u00f3n completa del IDE cloud, mejoras en la interfaz de usuario y una reducci\u00f3n de la latencia de operaciones comunes como guardar un archivo.<\/p>\n
\u00a1Ser\u00e1 una buena noticia para los adoptantes del dbt cloud!<\/p>\n<\/div>
La capa sem\u00e1ntica supone un cambio estructural en la forma de gestionar su data<\/p><\/h2><\/div>
\u00a1Este es un tema candente!<\/p>\n
Durante el discurso de apertura, los ponentes definieron la capa sem\u00e1ntica como\u00a0\u201cla plataforma para compilar y acceder a los activos dbt en las herramientas posteriores\u201c.<\/em><\/p>\n
La capa sem\u00e1ntica pretende resolver los retos comunes del data governance:<\/p>\n<\/div>
- <\/i><\/span>\n
la falta de\u00a0gesti\u00f3n de acceso<\/strong><\/p>\n<\/div><\/li>
- <\/i><\/span>
\nel\u00a0duplicaci\u00f3n<\/strong>\u00a0de activos data, lo que se traduce en deuda t\u00e9cnica y\u00a0incoherencia<\/strong>\u00a0entre sus KPI<\/p>\n<\/div><\/li>
- <\/i><\/span>
\nla falta de documentaci\u00f3n de sus activos data, que se une a\u00a0descubribilidad<\/strong>\u00a0cuestiones<\/p>\n<\/div><\/li><\/ul>
El objetivo aqu\u00ed es ampliar el \u00e1mbito de aplicaci\u00f3n de dbt. Por ahora, el \u00e1mbito se limita a la capa de transformaci\u00f3n. Podr\u00edamos a\u00f1adir esta capa sem\u00e1ntica sobre la capa de transformaci\u00f3n.<\/p>\n
Esto tiene sentido. En la versi\u00f3n 1.0 se hab\u00edan introducido las m\u00e9tricas. Este fue el primer paso hacia la visi\u00f3n de una capa sem\u00e1ntica.<\/p>\n<\/div>
dbt en el coraz\u00f3n del ecosistema moderno de la pila data<\/p><\/h2><\/div>
Lo que me impact\u00f3 durante esta conferencia fue el n\u00famero de asociaciones anunciadas. Adem\u00e1s, la mayor\u00eda de las charlas fueron impartidas por socios.<\/p>\n
Los proveedores de software como Atlan, Collibra o MonteCarlo necesitan integrarse en dbt porque sus clientes se lo han pedido. dbt se est\u00e1 convirtiendo poco a poco en el est\u00e1ndar para la transformaci\u00f3n data. Usted quiere ver sus transformaciones en su linaje global data que podr\u00edan gestionarse con una herramienta externa como Collibra. Tambi\u00e9n quiere controlar los resultados de sus pruebas dbt con su herramienta preferida, etc. Necesita integraci\u00f3n entre sus herramientas.<\/p>\n
A diferencia de dataform, el \u00fanico competidor de dbt a d\u00eda de hoy, tengo la sensaci\u00f3n de que dbt labs quiere seguir siendo neutral respecto a cloud. Ofrecen muchas integraciones con soluciones nicho para gestionar mejor su calidad data o su metadata, por ejemplo.<\/p>\n<\/div>
Conclusi\u00f3n<\/h2><\/div>
\u00a1Se acab\u00f3! Esta edici\u00f3n ha sido muy rica. Y terminamos esta semana con muchas discusiones sobre los anuncios. \u00a1Eso es lo que hace emocionante este trabajo!<\/p>\n
Hablando de eso, nosotros\u00a0alquile<\/a>\u00a0\u00a1en Artefact! Seguro que no se lo esperaba \ud83d\ude09 .<\/p>\n<\/div><\/div><\/div><\/div><\/article>
- <\/i><\/span>
- <\/i><\/span>
- <\/i><\/span>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/03\/medium.png\" "\\"medio\\"")
<\/span><\/div>