{"id":65787,"date":"2022-01-18T09:50:59","date_gmt":"2022-01-18T09:50:59","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=news&p=65787"},"modified":"2024-09-20T17:45:48","modified_gmt":"2024-09-20T16:45:48","slug":"how-to-quickly-compare-two-datasets-using-a-generic-and-powerful-sql-query","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/br\/blog\/how-to-quickly-compare-two-datasets-using-a-generic-and-powerful-sql-query\/","title":{"rendered":"Como comparar rapidamente dois datasets usando uma consulta SQL gen\u00e9rica e avan\u00e7ada"},"content":{"rendered":"

Autor<\/h2><\/div>\"Image\"

K\u00e9vin Lef\u00e8vre<\/h3><\/div>

Data Desenvolvedor no Artefact<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Leia nosso artigo sobre<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Em suas atividades di\u00e1rias, os analistas do Data Engineer e do Data precisam aprimorar os processos de ingest\u00e3o do data. Al\u00e9m dos testes unit\u00e1rios usuais, pode ser interessante comparar de forma f\u00e1cil e r\u00e1pida dois conjuntos de data (ou seja, tabelas, visualiza\u00e7\u00f5es, consultas etc.) para diferentes finalidades, como an\u00e1lise de impacto ou teste de n\u00e3o regress\u00e3o. Al\u00e9m disso, a identifica\u00e7\u00e3o de discrep\u00e2ncias entre dois pontos de vista de uma tabela de instant\u00e2neos \u00e9 bastante \u00fatil para an\u00e1lise adhoc ou depura\u00e7\u00e3o.<\/p>\n

Com isso em mente e para os profissionais de SQL, um script pr\u00e9-constru\u00eddo e reutiliz\u00e1vel faz sentido, da\u00ed o objetivo deste artigo.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Explica\u00e7\u00e3o do modelo SQL pronto para uso<\/h2><\/div>

Vamos ao cerne da quest\u00e3o com a consulta esperada:<\/p>\n<\/div>\"Image\"

Agora, vamos explicar isso:<\/p>\n<\/div>

  • <\/i><\/span>
    \n

    Primeiro, usamos o CTE - Common Table Expressions (WITH ... ASstatements) para identificar os dois datasets a serem comparados. Dessa forma, as linhas de consulta a seguir podem permanecer inalteradas.<\/p>\n<\/div><\/li>

  • <\/i><\/span>
    \n

    Em seguida, criamos duas consultas semelhantes com os apelidos dataset_1_only e dataset_2_only para manter as linhas que est\u00e3o presentes apenas no dataset 1 (em compara\u00e7\u00e3o com o dataset 2) e vice-versa, gra\u00e7as ao operador de conjunto EXCEPT.<\/p>\n<\/div><\/li>

  • <\/i><\/span>
    \n

    Por fim, um campo complementar de sinaliza\u00e7\u00e3o \u00e9 definido para identificar a origem das linhas incompat\u00edveis de ambas as consultas. Em seguida, elas s\u00e3o reunidas por meio do operador de conjunto UNION ALL.<\/p>\n<\/div><\/li><\/ul>

    Observa\u00e7\u00e3o: obviamente, ter dois datasets com campos compar\u00e1veis \u00e9 um pr\u00e9-requisito para usar a consulta acima<\/em><\/p>\n<\/div>

    Exemplo ilustrado<\/h2><\/div>

    Chega de teoria, agora vamos \u00e0 pr\u00e1tica! Suponha que um supermercado queira recuperar todos os produtos<\/strong> eleg\u00edveis para uma promo\u00e7\u00e3o em uma \u00fanica tabela, de acordo com a semana condi\u00e7\u00f5es de promo\u00e7\u00e3o<\/strong>.<\/p>\n

    Como declara\u00e7\u00e3o inicial, consideramos os produtos abaixo em estoque:<\/p>\n<\/div>\"Image\"

    De acordo com as condi\u00e7\u00f5es da promo\u00e7\u00e3o na semana 1:<\/p>\n<\/div>