Revelando o caminho: por que Data é fundamental para o desenvolvimento AI eficazes

No mundo atual, data, compreender a trajetória dos data— desde sua origem até seu destino final — é mais crucial do que nunca. Essa capacidade, conhecida como data , oferece uma visão abrangente de como data por uma organização, detalhando suas transformações e dependências ao longo do caminho. Data varia em termos de níveis de complexidade, com a “linhagem grosseira” demonstrando as transformações entre tabelas e a “linhagem fina” ocorrendo no nível dos atributos. Esses ativos podem ser mapeados em ferramentas como o Solidatus, fornecendo um método automatizado para criar uma visão geral clara das data , transformação e uso. Na Artefact, nossas equipes projetam e desenvolvem AI data AI para nossos clientes data a linhagem ajuda nossos clientes a responder perguntas como: “Quais sistemas estão nos fornecendo este saldo do cliente, já que parece impreciso?” ou “Por que meu modelo de propensão de crédito do cliente está apresentando resultados diferentes especificamente às quartas-feiras?” Seguimos uma metodologia meticulosamente estruturada em seis etapas para implantar a linhagem em escala, começando com uma avaliação abrangente do caso de uso comercial específico e seu valor intrínseco. Esse processo culmina em uma implementação perfeita, na qual a manutenção contínua e a adoção pelos usuários são integradas ao núcleo.

As empresas utilizam data por várias razões fundamentais, sendo a conformidade regulatória e a gestão data as principais. No setor de serviços financeiros, data robusta é essencial para atender a requisitos e princípios de auditoria rigorosos, como o BCBS 239, garantindo a adesão às regulamentações relacionadas à governança, data , data de risco, precisão, integridade e frequência dos relatórios de risco. Por exemplo, no caso de um banco comercial, a avaliação de um fluxo de trabalho de relatórios financeiros de hipotecas permite que uma empresa rastreie as origens e o uso de data confidenciais.

Para além da conformidade, data é uma ferramenta poderosa para melhorar data , permitindo que as organizações rastreiem data , validem a precisão e mantenham a confiança em seus sistemas de informação. Este artigo abordará os detalhes da data , especificamente a linhagem de alto nível, e explorará por que ela se tornou um pilar das estratégias modernas data .

Com base na importância da compreensão data, Artificial Intelligence AI) está transformando o panorama dos serviços financeiros modernos, simulando a inteligência humana para realizar tarefas que exigem aprendizagem e tomada de decisões. As aplicações AIsão diversas e impactantes: AI conversacional, como os chatbots, aprimora as interações com os clientes; os assistentes de produtividade otimizam os fluxos de trabalho e automatizam tarefas; e data automatizada data acelera a obtenção de insights a partir de conjuntos de dados complexos. Em agosto de 2024, a AI da União Europeia introduziu novas regulamentações destinadas a garantir AI ético AI e proteger os direitos dos usuários, destacando a mudança global em direção AI responsável AI . Esse desenvolvimento ressalta a crescente necessidade de as organizações não apenas aproveitarem o poder AI, mas também gerenciá-la com supervisão cuidadosa, complementando seus esforços em relação data e à gestão da qualidade.

Embora o uso de AI generativa de código aberto, AI o ChatGPT, para fins pessoais seja uma coisa, integrar AI uma organização e gerar valor real para os negócios é uma história totalmente diferente. A maioria das instituições financeiras está em uma corrida frenética para lançar AI e provas de conceito (POCs) AI generativa; no entanto, só se investe dinheiro de verdade quando se comprova que os benefícios potenciais são confiáveis e que o produto é adequado tanto para usuários de negócios quanto para usuários técnicos. Muitas instituições ainda enfrentam dificuldades para escalar essas tecnologias devido a preocupações com a confiabilidade (74%), a adoção pelos usuários (60%)(1) e a falta de conhecimento técnico (60%). Artefact desenvolveu uma estrutura AI generativa Artefact abordar as principais dimensões de escalabilidade: relevância da saída, explicabilidade, imparcialidade/viés, latência, infraestrutura, eficiência organizacional e experiência do usuário/adoção.

No contexto da AI, data oferece um valor comercial significativo ao garantir transparência e confiabilidade nas decisões data. Atualmente, mais de 75% dos consumidores estão preocupados com a desinformação proveniente AI(2). AI frequentemente referida como uma “caixa preta”, o que significa que os usuários finais muitas vezes não compreendem os mecanismos internos que geram os resultados que utilizam regularmente. À medida que AI dependem cada vez mais de conjuntos de dados vastos e complexos, compreender as origens e as transformações desses data crucial para manter a precisão e a confiabilidade. Data ajuda as organizações a rastrear e validar os data AI , o que é essencial para otimizar o desempenho dos modelos e resolver questões como viés ou erros. Ao fornecer uma trilha de auditoria clara, data também apoia a conformidade com regulamentações e aprimora data , levando, em última instância, a AI mais informadas, confiáveis e éticas que geram melhores resultados de negócios.

Data é fundamental para atender aos requisitos regulatórios e legais em AI, especialmente no âmbito de políticas como a Lei de Privacidade do Consumidor da Califórnia (CCPA) e a Lei Gramm-Leach-Bliley (GLBA). Por exemplo, considere um caso de uso envolvendo a rotatividade de clientes em uma empresa de serviços financeiros. Nesse caso, o sistema carecia de práticas padronizadas para tornar anônimas as informações privadas e não possuía data para rastrear data . Como resultado, data para mascarar detalhes confidenciais era realizado como uma etapa final, com governança mínima. Essa abordagem não apenas comprometia data , mas também expunha o sistema a riscos de conformidade. Se nossa organização parceira tivesse data robusta no Solidatus, ela poderia ter rastreado onde data sendo usados, capturado data , garantido o anonimato adequado em cada etapa e atendido aos requisitos regulatórios de forma mais eficaz, salvaguardando assim a privacidade e aprimorando data .

A maioria das organizações (80%) afirma que seus data prontos para uso em AI; no entanto, mais da metade (52%)(3) enfrentou problemas de implementação devido à qualidade dos data. Data é fundamental para garantir data no AI , pois oferece uma visão clara de como data obtidos, transformados e utilizados. Na Artefact, compreendemos a importância da data e da qualidade data . Acreditamos em um modelo AI que desenvolva os requisitos técnicos simultaneamente à data e governança data necessárias para implantar AI confiável em grande escala. Nossas equipes trabalharam em um modelo de previsão de risco de crédito que dependia de várias data para avaliar o risco do tomador. A equipe descobriu inconsistências entre essas tabelas em suas investigações preliminares — como discrepâncias nos data ou informações desatualizadas. Isso causaria um desvio no modelo e geraria uma avaliação de risco imprecisa. Ao implementar data , a organização pôde rastrear as origens dos data, identificar onde surgem as inconsistências e garantir que data estejam alinhadas com os padrões de qualidade. Essa transparência ajuda a corrigir problemas antes que eles afetem o modelo, levando, em última instância, a previsões mais confiáveis e precisas e mantendo a integridade geral do AI .

Data aprimora a depuração, as melhorias e a reprodutibilidade AI , oferecendo uma visão detalhada da trajetória dataao longo do processo de modelagem. Se um modelo estiver produzindo resultados inesperados, data ajuda a rastrear os data todas as etapas — desde a coleta até o pré-processamento e a engenharia de características. Essa visibilidade permite que data identifiquem onde podem ter surgido problemas ou inconsistências, facilitando uma depuração precisa e melhorias direcionadas. Além disso, a “Adaptação de Domínio” é um método comum para reutilizar componentes de algoritmos, a fim de reduzir o tempo e os recursos necessários para construir um AI do zero. A linhagem é essencial para essa reprodutibilidade em diferentes iterações e experimentos, pois fornece a documentação e o uso dos data os algoritmos.

Artefact e a Solidatus são parceiros colaborativos, unidos na convicção de que data eficaz data é essencial para o sucesso da AI. Akhilesh Kale, líder da Artefact Serviços Financeiros, afirma quedata é a espinha dorsal da confiança nas instituições financeiras, proporcionando a integridade que é fundamental em um cenário tão complexo, definido por suas pressões regulatórias”. Essa ênfase na data é fundamental para que a expertise Artefactem data AI complemente o ambiente estruturado da Solidatus, que ajuda a gerenciar e armazenar a linhagem de dados. Juntas, elas permitem que as instituições financeiras aumentem a transparência dos data de origem data AI . Como destaca Phil Yeoman, ex-funcionário da Cardano, “com a Solidatus, nosso data agora está mapeado, modelado e catalogado. Em uma única visualização, posso mostrar à empresa onde seus data , como fluem pelos sistemas e aplicativos, quais regras data se aplicam e quais data sujeitos ao GDPR.” Essa integração perfeita de ferramentas e serviços ressalta o poder transformador da data para AI. Ela simplifica a navegação pela conformidade, garante data de alto nível e aumenta a precisão dos modelos ao rastrear data origem ao destino. Essa rastreabilidade é inestimável para atender a padrões regulatórios, como a CCPA e a GLBA, ao mesmo tempo em que ajuda a identificar data que poderiam comprometer AI . Além disso, data agiliza a depuração, impulsiona o desempenho dos modelos e garante resultados consistentes e confiáveis.

(1) Prestianni, Timothy. “131 AI e tendências AI para (2024).” Universidade Nacional, 30 de maio de 2024. ai.

(2) Matthew Fox, “Como Artificial Intelligence moldando o sentimento do consumidor”, Forbes, 22 de setembro de 2023, https://www.forbes.com/advisor/business/artificial-intelligence-consumer-sentiment/.

(3) Campus Technology, “Relatório: AI prejudicada pela Data ”, 10 de abril de 2024, Data:~:text=As%20organizações%20têm%20sérias%20preocupações%20em%20relação%20à%20complexidade%20da%20integração%20(59%25)