{"id":65787,"date":"2022-01-18T09:50:59","date_gmt":"2022-01-18T09:50:59","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=news&p=65787"},"modified":"2024-09-20T17:45:48","modified_gmt":"2024-09-20T16:45:48","slug":"how-to-quickly-compare-two-datasets-using-a-generic-and-powerful-sql-query","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/nl\/blog\/how-to-quickly-compare-two-datasets-using-a-generic-and-powerful-sql-query\/","title":{"rendered":"Hoe u snel twee datasets kunt vergelijken met behulp van een algemene & krachtige SQL-query"},"content":{"rendered":"

Auteur<\/h2><\/div>\"Image\"

K\u00e9vin Lev\u00e8vre<\/h3><\/div>

Data Ontwikkelaar bij Artefact<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Lees ons artikel over<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

In hun dagelijkse werkzaamheden moeten Data Engineer's en Data Analisten data ingestion processen verbeteren. Naast de gebruikelijke unit tests, kan het interessant zijn om eenvoudig en snel twee datasets (d.w.z. tabellen, views, queries, etc) te vergelijken voor verschillende doeleinden, zoals impact analyse of non-regressie testen. Ook het identificeren van discrepanties tussen twee gezichtspunten van een snapshot-tabel is erg nuttig voor ad-hocanalyse of debuggen.<\/p>\n

Met dit in gedachten en voor SQL-beoefenaars is een kant-en-klaar en herbruikbaar script zinvol, vandaar het doel van dit artikel.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Gebruiksklare SQL-sjabloon uitgelegd<\/h2><\/div>

Laten we naar de kern van de zaak gaan met de verwachte vraag:<\/p>\n<\/div>\"Image\"

Laten we het nu uitleggen:<\/p>\n<\/div>

  • <\/i><\/span>
    \n

    Eerst gebruiken we CTE - Common Table Expressions (WITH ... ASstatements) om de twee te vergelijken datasets te identificeren. Hierdoor kunnen de volgende queryregels ongewijzigd blijven.<\/p>\n<\/div><\/li>

  • <\/i><\/span>
    \n

    Vervolgens construeren we twee vergelijkbare queries met de alias dataset_1_only en dataset_2_only om rijen te behouden die alleen aanwezig zijn in dataset 1 (vergeleken met dataset 2) en vice versa dankzij de EXCEPT set operator.<\/p>\n<\/div><\/li>

  • <\/i><\/span>
    \n

    Tot slot wordt er een aanvullend vlagveld gedefinieerd om de bron van niet overeenkomende rijen uit beide query's te identificeren. Deze worden dan verzameld via de UNION ALL set operator.<\/p>\n<\/div><\/li><\/ul>

    Opmerking: uiteraard is het hebben van twee datasets met vergelijkbare velden een voorwaarde om de bovenstaande query te kunnen gebruiken.<\/em><\/p>\n<\/div>

    Ge\u00efllustreerd voorbeeld<\/h2><\/div>

    Genoeg theorie, nu de praktijk! Stel dat een supermarkt alle producten ophalen<\/strong> die in aanmerking komen voor een promotie in een enkele tabel volgens de week promotievoorwaarden<\/strong>.<\/p>\n

    In eerste instantie beschouwen we onderstaande producten als op voorraad:<\/p>\n<\/div>\"Image\"

    Volgens de promotievoorwaarden in week 1:<\/p>\n<\/div>