{"id":65787,"date":"2022-01-18T09:50:59","date_gmt":"2022-01-18T09:50:59","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=news&p=65787"},"modified":"2024-09-20T17:45:48","modified_gmt":"2024-09-20T16:45:48","slug":"how-to-quickly-compare-two-datasets-using-a-generic-and-powerful-sql-query","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/fr\/blog\/how-to-quickly-compare-two-datasets-using-a-generic-and-powerful-sql-query\/","title":{"rendered":"Comment comparer rapidement deux ensembles data \u00e0 l'aide d'une requ\u00eate SQL g\u00e9n\u00e9rique et puissante ?"},"content":{"rendered":"

Auteur<\/h2><\/div>\"Image\"

K\u00e9vin Lef\u00e8vre<\/h3><\/div>

Data D\u00e9veloppeur \u00e0 Artefact<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Lisez notre article sur<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Dans le cadre de leurs activit\u00e9s quotidiennes, les analystes Data Engineer et Data sont amen\u00e9s \u00e0 am\u00e9liorer les processus d'ingestion data. Au-del\u00e0 des tests unitaires habituels, il peut \u00eatre int\u00e9ressant de comparer facilement et rapidement deux ensembles data (c'est-\u00e0-dire des tables, des vues, des requ\u00eates, etc.) \u00e0 des fins diff\u00e9rentes, telles que l'analyse d'impact ou les tests de non-r\u00e9gression. De m\u00eame, l'identification des divergences entre deux points de vue d'une table instantan\u00e9e est tr\u00e8s utile pour l'analyse adhoc ou le d\u00e9bogage.<\/p>\n

Dans cette optique et pour les praticiens de SQL, un script pr\u00e9construit et r\u00e9utilisable prend tout son sens, d'o\u00f9 l'objet de cet article.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Explication du mod\u00e8le SQL pr\u00eat \u00e0 l'emploi<\/h2><\/div>

Entrons dans le vif du sujet avec la question attendue :<\/p>\n<\/div>\"Image\"

Expliquons-le maintenant :<\/p>\n<\/div>

  • <\/i><\/span>
    \n

    Tout d'abord, nous utilisons CTE - Common Table Expressions (WITH ... ASstatements) pour identifier les deux ensembles data \u00e0 comparer. Ainsi, les lignes de requ\u00eate suivantes peuvent rester inchang\u00e9es.<\/p>\n<\/div><\/li>

  • <\/i><\/span>
    \n

    Ensuite, nous construisons deux requ\u00eates similaires appel\u00e9es dataset_1_only et dataset_2_only afin de conserver les lignes qui ne sont pr\u00e9sentes que dans dataset 1 (par rapport \u00e0 dataset 2) et vice-versa gr\u00e2ce \u00e0 l'op\u00e9rateur EXCEPT set.<\/p>\n<\/div><\/li>

  • <\/i><\/span>
    \n

    Enfin, un champ compl\u00e9mentaire \"flag\" est d\u00e9fini afin d'identifier la source des lignes non concordantes provenant des deux requ\u00eates. Celles-ci sont ensuite rassembl\u00e9es par l'op\u00e9rateur UNION ALL.<\/p>\n<\/div><\/li><\/ul>

    Remarque : il est \u00e9vident qu'il faut disposer de deux ensembles data avec des champs comparables pour pouvoir utiliser la requ\u00eate ci-dessus.<\/em><\/p>\n<\/div>

    Exemple illustr\u00e9<\/h2><\/div>

    Finie la th\u00e9orie, place \u00e0 la pratique ! Supposons qu'un supermarch\u00e9 veuille r\u00e9cup\u00e9rer tous les produits<\/strong> \u00e9ligibles \u00e0 une promotion dans un seul tableau en fonction de la semaine. conditions de promotion<\/strong>.<\/p>\n

    Dans un premier temps, nous consid\u00e9rons que les produits ci-dessous sont en stock :<\/p>\n<\/div>\"Image\"

    Selon les conditions de promotion de la semaine 1 :<\/p>\n<\/div>