![\"Image\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/10\/benoit-goujon.jpeg\")
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/04\/Medium-Blog.png\" "\\"M\u00e9dio")
<\/span><\/div>O evento organizado pela dbt voltou este ano. O senhor pode participar fisicamente em Nova Orleans ou assistir \u00e0s palestras on-line.<\/p>\n
Como a ado\u00e7\u00e3o da dbt est\u00e1 aumentando, esper\u00e1vamos muito dessa confer\u00eancia. Foram propostas sess\u00f5es sobre diferentes t\u00f3picos que n\u00e3o se limitavam ao uso de dbt. Por exemplo, houve sess\u00f5es sobre planos de carreira para equipes data.<\/p>\n
Sem mais delongas, aqui est\u00e3o as principais li\u00e7\u00f5es desta edi\u00e7\u00e3o, na minha opini\u00e3o:<\/p>\n<\/div>
- <\/i><\/span>O senhor pode agora\u00a0escrever seus modelos em Python<\/strong><\/div><\/li>
- <\/i><\/span>
o\u00a0dbt cloud A interface do usu\u00e1rio e o IDE foram renovados<\/strong>\u00a0para uma experi\u00eancia de desenvolvedor muito melhor<\/div><\/li>- <\/i><\/span>
\nO dbt introduziu sua pr\u00f3pria vers\u00e3o do\u00a0camada sem\u00e2ntica<\/strong><\/p>\n<\/div><\/li>
- <\/i><\/span>
\nA dbt pretende estar em\u00a0o cora\u00e7\u00e3o do ecossistema moderno do data<\/strong><\/p>\n<\/div><\/li><\/ul>
Vamos nos aprofundar nos detalhes.<\/p>\n<\/div>
Modelos Python, finalmente!<\/p><\/h2><\/div>
Esse era certamente o recurso mais esperado. Agora o senhor pode executar modelos Python. O comportamento \u00e9 muito semelhante ao dos modelos SQL.<\/p>\n
Esse recurso \u00e9 revolucion\u00e1rio. Acho que muitos de n\u00f3s temos o mesmo problema com um fluxo de trabalho que n\u00e3o podemos executar de ponta a ponta por causa de uma ou duas opera\u00e7\u00f5es que s\u00e3o muito complicadas de fazer no SQL. Isso \u00e9 doloroso porque precisamos de uma camada extra. N\u00e3o queremos gerenciar esse vai e vem entre o dbt e outro componente.<\/p>\n
Esse foi o caso, em particular, de estat\u00edsticas avan\u00e7adas, manipula\u00e7\u00e3o de texto e tudo o que est\u00e1 relacionado ao ML (engenharia de recursos, enriquecimento de data...). Esses casos extremos s\u00e3o os casos de uso alvo dos modelos Python. Os gerentes de produto deixaram bem claro durante a apresenta\u00e7\u00e3o que ser\u00e1 para\u00a0casos de uso b\u00e1sicos que implicam em transforma\u00e7\u00f5es data<\/strong>. A chamada de APIs externas n\u00e3o \u00e9 recomendada.<\/p>\n
Ent\u00e3o, como isso funciona?<\/p>\n
Primeiro, semelhante aos modelos SQL,\u00a0o c\u00f3digo ser\u00e1 executado em seu cloud data platform.<\/strong><\/p>\n
Em segundo lugar, da mesma forma que os modelos SQL, o senhor deve adaptar sua sintaxe dependendo da plataforma cloud subjacente. No SQL, o senhor precisa usar o dialeto SQL apropriado. No Python, o senhor tem um\u00a0conjunto diferente de bibliotecas que estar\u00e3o dispon\u00edveis.<\/strong><\/p>\n
O recurso est\u00e1 dispon\u00edvel em tr\u00eas data platforms a partir de hoje:<\/p>\n<\/div>
- <\/i><\/span>\n
Floco de neve<\/p>\n<\/div><\/li>
- <\/i><\/span>
\nBigQuery<\/p>\n<\/div><\/li>
- <\/i><\/span>
\nDatabricks<\/p>\n<\/div><\/li><\/ul>
Por exemplo, se o senhor usa o Snowflake, pode aproveitar o snowpark para suas transforma\u00e7\u00f5es. Observe que o recurso ainda est\u00e1 em seus primeiros dias, conforme mencionado por Eda Johnson e Venkatesh Sekar em sua palestra \u201cEmpowering pythonistas with dbt and snowpark\u201d.<\/p>\n
Conforme declarado durante a palestra, h\u00e1\u00a0espa\u00e7o para melhorias<\/a>\u00a0para se aproximar da experi\u00eancia de um engenheiro de software Python (facilitar a reutiliza\u00e7\u00e3o de c\u00f3digo entre modelos, fornecer recursos de teste e usar docstrings para documenta\u00e7\u00e3o...).<\/p>\n<\/div>
Muitos aprimoramentos para o dbt cloud<\/p><\/h2><\/div>
H\u00e1 alguns meses, uma postagem no blog intitulada\u00a0\u201cPrecisamos falar sobre dbt\u201d<\/a>, O artigo de Tristan Handy, escrito por Petram Navid, causou sensa\u00e7\u00e3o. Tristan Handy, CEO da dbt labs,\u00a0respondeu<\/a>\u00a0O senhor tamb\u00e9m n\u00e3o se importou com as preocupa\u00e7\u00f5es de Pedram, especialmente as relacionadas ao dbt cloud. De fato, na postagem original do blog, o praticante de longa data do dbt apontou a experi\u00eancia ruim que teve com o dbt cloud. Tristan concordou que eles deveriam trabalhar duro para melhorar a experi\u00eancia do desenvolvedor.<\/p>\n
E eles conseguiram! Esta semana, a dbt Labs anunciou uma reformula\u00e7\u00e3o completa do IDE cloud, melhorias na interface do usu\u00e1rio e uma redu\u00e7\u00e3o da lat\u00eancia para opera\u00e7\u00f5es comuns, como salvar um arquivo.<\/p>\n
Essa ser\u00e1 uma boa not\u00edcia para os usu\u00e1rios do dbt cloud!<\/p>\n<\/div>
A camada sem\u00e2ntica \u00e9 uma mudan\u00e7a estrutural na forma como o senhor gerencia seu data<\/p><\/h2><\/div>
Esse \u00e9 um tema quente!<\/p>\n
Durante a palestra, os palestrantes definiram a camada sem\u00e2ntica como\u00a0\u201ca \u201cplataforma para compilar e acessar ativos de dbt em ferramentas downstream\u201d.<\/em><\/p>\n
A camada sem\u00e2ntica tem como objetivo resolver desafios comuns do data governance:<\/p>\n<\/div>
- <\/i><\/span>\n
A falta de\u00a0gerenciamento de acesso<\/strong><\/p>\n<\/div><\/li>
- <\/i><\/span>
\no\u00a0duplica\u00e7\u00e3o<\/strong>\u00a0de ativos data, o que resulta em d\u00edvida t\u00e9cnica e\u00a0inconsist\u00eancia<\/strong>\u00a0entre seus KPIs<\/p>\n<\/div><\/li>
- <\/i><\/span>
\na falta de documenta\u00e7\u00e3o de seus ativos data, que, juntamente com\u00a0descoberta<\/strong>\u00a0problemas<\/p>\n<\/div><\/li><\/ul>
O objetivo aqui \u00e9 ampliar o escopo do dbt. Por enquanto, o escopo est\u00e1 limitado \u00e0 camada de transforma\u00e7\u00e3o. Poder\u00edamos adicionar essa camada sem\u00e2ntica sobre a camada de transforma\u00e7\u00e3o.<\/p>\n
Isso faz sentido. Na vers\u00e3o 1.0, as m\u00e9tricas foram introduzidas. Esse foi o primeiro passo em dire\u00e7\u00e3o \u00e0 vis\u00e3o de uma camada sem\u00e2ntica.<\/p>\n<\/div>
dbt no centro do ecossistema moderno da pilha data<\/p><\/h2><\/div>
O que me chamou a aten\u00e7\u00e3o durante essa confer\u00eancia foi o n\u00famero de parcerias anunciadas. Al\u00e9m disso, a maioria das palestras foi apresentada por parceiros.<\/p>\n
Fornecedores de software como Atlan, Collibra ou MonteCarlo precisam se integrar ao dbt porque seus clientes pediram. O dbt est\u00e1 lentamente se tornando o padr\u00e3o para a transforma\u00e7\u00e3o do data. O senhor deseja ver as transforma\u00e7\u00f5es em sua linhagem global de data que podem ser gerenciadas com uma ferramenta externa como a Collibra. O senhor tamb\u00e9m deseja monitorar os resultados de seus testes de dbt com sua ferramenta preferida etc. O senhor precisa de integra\u00e7\u00e3o entre suas ferramentas.<\/p>\n
Ao contr\u00e1rio do dataform, o \u00fanico concorrente do dbt at\u00e9 o momento, tenho a impress\u00e3o de que o dbt labs quer permanecer neutro em rela\u00e7\u00e3o ao cloud. Eles oferecem muitas integra\u00e7\u00f5es com solu\u00e7\u00f5es de nicho para gerenciar melhor a qualidade do data ou o metadata, por exemplo.<\/p>\n<\/div>
Conclus\u00e3o<\/h2><\/div>
\u00c9 isso a\u00ed! Esta edi\u00e7\u00e3o foi muito rica. E terminamos esta semana com muitas discuss\u00f5es sobre os an\u00fancios. \u00c9 isso que torna esse trabalho empolgante!<\/p>\n
Falando nisso, n\u00f3s\u00a0contratar<\/a>\u00a0no Artefact! Tenho certeza que o senhor n\u00e3o esperava por isso \ud83d\ude09<\/p>\n<\/div><\/div><\/div><\/div><\/article>
- <\/i><\/span>
- <\/i><\/span>
- <\/i><\/span>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/03\/medium.png\" "\\"m\u00e9dio\\"")
<\/span><\/div>