![\"Image\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/10\/benoit-goujon.jpeg\")
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/04\/Medium-Blog.png\" "\\"Medium")
<\/span><\/div>Het evenement georganiseerd door dbt was dit jaar terug. U kon het evenement in New Orleans bijwonen of de lezingen online bekijken.<\/p>\n
Omdat dbt steeds meer wordt toegepast, verwachtten we veel van deze conferentie. Er werden sessies over verschillende onderwerpen voorgesteld die niet beperkt waren tot het gebruik van dbt. Er waren bijvoorbeeld sessies over loopbaantrajecten voor data-teams.<\/p>\n
Zonder verder oponthoud, hier zijn volgens mij de belangrijkste lessen van deze editie:<\/p>\n<\/div>
- <\/i><\/span>kunt u nu\u00a0uw modellen in Python schrijven<\/strong><\/div><\/li>
- <\/i><\/span>
de\u00a0dbt cloud UI en IDE zijn vernieuwd<\/strong>\u00a0voor een veel betere ontwikkelaarservaring<\/div><\/li>- <\/i><\/span>
\ndbt introduceerde zijn eigen versie van de\u00a0semantische laag<\/strong><\/p>\n<\/div><\/li>
- <\/i><\/span>
\ndbt streeft naar\u00a0het hart van het moderne data ecosysteem<\/strong><\/p>\n<\/div><\/li><\/ul>
Laten we eens in de details duiken.<\/p>\n<\/div>
Python modellen, eindelijk!<\/p><\/h2><\/div>
Het was zeker de meest verwachte functie. U kunt nu Python-modellen uitvoeren. Het gedrag lijkt erg op dat van SQL-modellen.<\/p>\n
Deze functie is baanbrekend. Ik denk dat we vaak hetzelfde probleem hebben met een workflow die we niet van begin tot eind kunnen uitvoeren vanwege \u00e9\u00e9n of twee bewerkingen die erg lastig zijn om uit te voeren in SQL. Dit is pijnlijk omdat we een extra laag nodig hebben. We willen dit niet heen en weer beheren tussen dbt en een andere component.<\/p>\n
Dit was met name het geval voor geavanceerde statistiek, tekstmanipulatie en alles wat ML-gerelateerd is (feature engineering, data-verrijking ...). Deze edge cases zijn de beoogde use cases van Python-modellen. Productmanagers zijn tijdens de keynote heel duidelijk geweest dat het voor\u00a0basisgebruiksgevallen die data transformaties impliceren<\/strong>. Het aanroepen van externe API's wordt niet aanbevolen.<\/p>\n
Dus, hoe werkt het?<\/p>\n
Ten eerste, vergelijkbaar met SQL-modellen,\u00a0de code wordt uitgevoerd op uw cloud data platform.<\/strong><\/p>\n
Ten tweede moet u, op dezelfde manier als bij SQL-modellen, uw syntaxis aanpassen aan het onderliggende cloud-platform. In SQL moet u het juiste SQL-dialect gebruiken. In Python hebt u een\u00a0verschillende set bibliotheken die beschikbaar zullen zijn.<\/strong><\/p>\n
De functie is vanaf vandaag beschikbaar op drie data platforms:<\/p>\n<\/div>
- <\/i><\/span>\n
Sneeuwvlok<\/p>\n<\/div><\/li>
- <\/i><\/span>
\nBigQuery<\/p>\n<\/div><\/li>
- <\/i><\/span>
\nDatabricks<\/p>\n<\/div><\/li><\/ul>
Als u bijvoorbeeld Snowflake gebruikt, kunt u snowpark gebruiken voor uw transformaties. Merk op dat de functie nog in de kinderschoenen staat, zoals vermeld door Eda Johnson en Venkatesh Sekar in hun toespraak \u201cEmpowering pythonistas with dbt and snowpark\u201d. snowpark is nog in openbare preview.<\/p>\n
Zoals tijdens de keynote werd gezegd, is er\u00a0ruimte voor verbetering<\/a>\u00a0om dichter bij de ervaring van een Python software engineer te komen (hergebruik van code tussen modellen vergemakkelijken, testmogelijkheden bieden en docstrings gebruiken voor documentatie ...).<\/p>\n<\/div>
Veel verbeteringen voor dbt cloud<\/p><\/h2><\/div>
Enkele maanden geleden verscheen er een blogbericht met de titel\u00a0\u201cWe moeten praten over dbt\u201d<\/a>, geschreven door Petram Navid, zorgde voor opschudding. Tristan Handy, de CEO van dbt labs,\u00a0antwoordde<\/a>\u00a0aan Pedram's zorgen, vooral die over dbt cloud. In de oorspronkelijke blogpost wees de langjarige dbt-beoefenaar inderdaad op de slechte ervaring die hij had met dbt cloud. Tristan was het ermee eens dat ze hard moesten werken om de ervaring van de ontwikkelaar te verbeteren.<\/p>\n
En dat hebben ze gedaan! Deze week kondigde dbt Labs een complete vernieuwing van de cloud IDE aan, UI-verbeteringen en een vermindering van de latentie voor veelvoorkomende bewerkingen zoals het opslaan van een bestand.<\/p>\n
Dit zal goed nieuws zijn voor dbt cloud adopters!<\/p>\n<\/div>
De semantische laag is een structurele verschuiving in de manier waarop u uw data<\/p><\/h2><\/div>
Dit is een actueel onderwerp!<\/p>\n
Tijdens de keynote definieerden de sprekers de semantische laag als\u00a0\u201chet \u201cplatform voor het compileren van en toegang krijgen tot dbt-assets in downstream-tools\u201d.<\/em><\/p>\n
De semantische laag is bedoeld om veelvoorkomende data governance uitdagingen op te lossen:<\/p>\n<\/div>
- <\/i><\/span>\n
het ontbreken van de juiste\u00a0toegangsbeheer<\/strong><\/p>\n<\/div><\/li>
- <\/i><\/span>
\nde\u00a0duplicatie<\/strong>\u00a0van data activa, wat resulteert in een technische schuld en\u00a0inconsistentie<\/strong>\u00a0tussen uw KPI's<\/p>\n<\/div><\/li>
- <\/i><\/span>
\nhet gebrek aan documentatie van uw data activa, wat gepaard gaat met\u00a0vindbaarheid<\/strong>\u00a0problemen<\/p>\n<\/div><\/li><\/ul>
Het doel hier is om het bereik van dbt uit te breiden. Op dit moment is het bereik beperkt tot de transformatielaag. We zouden deze semantische laag bovenop de transformatielaag kunnen toevoegen.<\/p>\n
Dit is logisch. In versie 1.0 werden metrieken ge\u00efntroduceerd. Dit was de eerste stap in de richting van de visie van een semantische laag.<\/p>\n<\/div>
dbt in het hart van het moderne data stack-ecosysteem<\/p><\/h2><\/div>
Wat me opviel tijdens deze conferentie is het aantal partnerschappen dat werd aangekondigd. Ook werden de meeste lezingen gegeven door partners.<\/p>\n
Softwareleveranciers zoals Atlan, Collibra of MonteCarlo moeten integreren met dbt omdat hun klanten hen dat gevraagd hebben. dbt wordt langzaam maar zeker de standaard voor data transformaties. U wilt uw transformaties zien in uw globale data lineage die mogelijk beheerd worden met een externe tool zoals Collibra. U wilt ook de resultaten van uw dbt-tests kunnen controleren met de tool van uw voorkeur, enz. U hebt integratie tussen uw tools nodig.<\/p>\n
In tegenstelling tot dataform, de enige concurrent van dbt vanaf vandaag, heb ik het gevoel dat dbt labs cloud-neutraal wil blijven. Ze bieden veel integraties met niche-oplossingen om bijvoorbeeld uw data-kwaliteit of uw metadata beter te beheren.<\/p>\n<\/div>
Conclusie<\/h2><\/div>
Het zit erop! Deze editie was erg rijk. En we sluiten deze week af met veel discussies over de aankondigingen. Dat maakt deze baan spannend!<\/p>\n
Daarover gesproken, wij\u00a0huren<\/a>\u00a0bij Artefact! Dat zag je vast niet aankomen \ud83d\ude09<\/p>\n<\/div><\/div><\/div><\/div><\/article>
- <\/i><\/span>
- <\/i><\/span>
- <\/i><\/span>
![](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2021\/03\/medium.png\" "\\"middelgrote\\"")
<\/span><\/div>