IA confiável: novos desafios e soluções data-driven

A ficção científica está repleta de histórias de IAs rebeldes, em que as máquinas agem de acordo com seus próprios sistemas de valores nefastos. O senhor se lembra do HAL 9000 em Space Odyssey ou da Skynet em Terminator? Mas na vida real, os sistemas e algoritmos de IA foram amplamente integrados às atividades cotidianas, como compras on-line, solicitação de empréstimos ou consulta a redes sociais. Embora os casos de IA renegada permaneçam, felizmente, na fantasia dos autores, os desvios e o mau funcionamento da IA se tornaram comuns e, com frequência, têm consequências muito reais. 

Todos nós já vimos as imagens geradas por IAs como Dall-E 2. É uma diversão inocente criar uma imagem de um ursinho de pelúcia ouvindo música embaixo d'água. Mas o senhor sabe que a algoritmos usado para perpetuar estereótipos de gênero, super-representando homens em imagens de médicos, pilotos e CEOs, enquanto super-representa women em imagens de enfermeiras, comissárias de bordo e secretárias?

Dado o grande número de decisões cotidianas delegadas à IA, não podemos ignorar as questões éticas levantadas por seu uso. A IA continua sendo um mercado e uma tecnologia que ainda é pouco legislada (embora a Comissão Europeia esteja trabalhando ativamente em regulamentações futuras). Portanto, é responsabilidade de cada indivíduo proteger os usuários.

O desafio da IA é criar sistemas confiáveis por projeto que atendam às expectativas éticas de nossa sociedade. É imperativo que nos preparemos, começando agora, para projetar e manter sistemas de IA confiáveis. Trata-se de um grande empreendimento: a ética é um assunto que é construído ao longo de todo o ciclo de vida de um produto.

A Inteligência Artificial é um conjunto de teorias e técnicas que permitem que uma máquina tome decisões diante de uma situação predefinida. Em outras palavras, ela simula a inteligência humana. Esses programas podem ser determinístico, onde regras sucessivas são aplicadas de acordo com um esquema de tomada de decisão, ou probabilístico, O programa é um sistema de gerenciamento de dados em que, depois de aprender com situações anteriores semelhantes, o programa pode inferir como deve ser a decisão ‘certa’. Isso também é chamado de aprendizado de máquina.

Independentemente do tipo de programa, a IA é a automatização da tomada de decisões. Os riscos éticos não residem no fato de que a IA pode automatizar mal, mas, ao contrário, que ela imita perfeitamente as decisões humanas, com sua carga de erros e vieses. Muitas dessas disfunções decorrem do contexto cultural em que a IA foi desenvolvida, quando ela replica os sistemas de valores históricos de uma sociedade (desigualdade de gênero ou étnica, por exemplo) ou os de seus projetistas (educação, sensibilidade política, práticas religiosas etc.).

Esses vieses são particularmente predominantes nos algoritmos de aprendizado de máquina, pois eles são treinados em bases data herdadas, inferindo o futuro a partir do passado.

As questões essenciais relacionadas à concepção e ao desenvolvimento de um ciclo de vida de IA confiável dizem respeito a questões técnicas e éticas, como, por exemplo, como detectar de forma confiável possíveis vieses em uma IA? Como interpretar os resultados de um modelo? Podemos medir a evolução do desempenho de uma IA? Que garantias de segurança podemos oferecer? Podemos reagir a um desvio? Essa lista não exaustiva reflete a diversidade dos desafios a serem enfrentados durante a produção de uma IA.

Como os modelos de IA evoluíram de conceitos para produtos, muitas soluções técnicas foram criadas para facilitar a automação e a implantação de sistemas de IA. Recentemente, o número de soluções técnicas disponíveis explodiu, criando um rico ecossistema alimentado pela inovação constante de start-ups e líderes do setor. Exemplos notáveis são o Aliança de Infraestrutura de IA e o Comunidade MLOps, da qual a Artefact é membro. Portanto, encontrar a ferramenta certa para a tarefa certa está se tornando mais importante e mais difícil.

Ao mesmo tempo, desenvolveu-se um ecossistema igualmente vibrante de empresas de consultoria para apoiar seus clientes na realização dessas escolhas estratégicas.

Muitas dessas soluções técnicas existem em código aberto e estão disponíveis gratuitamente para todos. Esses kits de ferramentas podem detectar e medir vieses em toda a cadeia de processamento do data: da coleta à exploração, incluindo transformação e modelagem. Essas soluções devem ser implementadas em todo o ciclo de vida do produto, tanto no estágio de projeto e desenvolvimento quanto na produção, a fim de garantir a correção permanente. Há três áreas específicas que podem ser abordadas com soluções técnicas.

“Os preconceitos não vêm de cientistas data, eles vêm de conjuntos data.”

Os preconceitos não se originam nos cientistas do data, mas nos conjuntos de data. É por isso que é necessário explorar e pensar profundamente sobre os datasets primeiro. Os vieses podem ser tanto técnicos (variáveis omitidas, database ou problemas de seleção) quanto sociais (econômicos, cognitivos, emocionais).

Para retificar os conjuntos de treinamento, pode parecer lógico apagar todos os traços do data sensível. No entanto, isso seria tão inútil quanto perigoso: por um lado, porque o data não sensível pode ser insidiosamente correlacionado com o data sensível e, por outro, porque esse tipo de atalho incentiva a limitação de verificações regulares do data e dos processos.

Para detectar esses vieses, é preciso estar ciente de que eles existem e saber o que procurar. É importante entender o contexto do data para interpretá-lo corretamente. Um único programa não é capaz de identificar tendências, daí a importância de equipes diversificadas de cientistas do data.

É pensando criticamente sobre as diferentes métricas associadas a um modelo de IA que podemos identificar e corrigir problemas. Considere um modelo que precisa detectar uma doença presente em 1% da população. Se o modelo sempre prevê que a pessoa é saudável, ele terá uma taxa de precisão de 99%. Sem contexto, essa é uma pontuação excelente. No entanto, esse modelo é inútil.

O uso de estatísticas básicas, univariadas e bivariadas do dataset pode identificar alguns vieses. Por exemplo, cada faixa etária está representada de forma suficientemente igual? Uma solução pode ser transformar o data contínuo em data categórico. As matrizes de correlação também podem validar os vínculos entre duas variáveis relacionadas. Todo esse trabalho inicial é crucial para garantir que os modelos sejam treinados em conjuntos de data de qualidade. Em poucas palavras: “Garbage in, garbage out”.

Os sistemas de IA de alto desempenho, como as redes neurais artificiais, são muito eficientes e usados em vários casos de uso. No entanto, eles são difíceis de interpretar, razão pela qual são frequentemente chamados de “modelos de caixa preta”. O grande desafio do aprendizado de máquina é identificar e explicar a causa do viés em vez de descartar suas consequências. Há um equilíbrio entre explicabilidade e precisão. Alguns algoritmos, como as árvores de decisão, são muito explicáveis, mas menos úteis para previsões mais complexas.

O campo da IA explicável (Ex-AI) tenta resolver esse problema desenvolvendo métodos e algoritmos que aumentam a explicabilidade dos sistemas. É possível explorar a compreensão global, que explica como uma IA funciona na população global, ou a compreensão local, que explica como o algoritmo funciona em um exemplo específico. Esse último é exigido pelo GDPR porque, para ser transparente, uma IA deve ser capaz de explicar por que o modelo tomou determinada decisão para uma pessoa/objeto/data linha específica. É importante observar a compreensão global e local para entender como o modelo se comporta.

Para fazer isso, os cientistas do data podem analisar as variáveis de importância do modelo. Por exemplo, não é normal que um modelo de recrutamento tenha o gênero como uma variável importante. Eles também podem verificar métricas como precisão (número de positivos bem previstos = verdadeiro positivo dividido por todos os positivos previstos = verdadeiro positivo + falso positivo), pontuação F1 (resume os valores de precisão e recall em uma única métrica), ou recall (número de positivos bem previstos = verdadeiro positivo dividido por todos os positivos = verdadeiro positivo + falso negativo), em relação a uma variável (por exemplo, precisão para women vs. homens).

“O grande desafio do aprendizado de máquina é identificar e explicar a causa do preconceito em vez de descartar suas consequências.”

As fontes de mau funcionamento dos modelos de Inteligência Artificial podem ser acidentais, quando o data é corrompido, ou intencionais, quando causadas por hackers, por exemplo. Ambas as fontes de viés levam os modelos de IA ao erro, fornecendo previsões ou resultados incorretos. Algumas soluções permitem a avaliação, a defesa e a verificação de modelos e aplicativos de aprendizado de máquina contra ameaças conflitantes que podem ter como alvo o data (envenenamento do data), o modelo (vazamento do modelo) ou a infraestrutura subjacente, tanto de hardware quanto de software.

Fonte da foto: https://arxiv.org/pdf/1412.6572.pdf

Simplesmente sobrepondo uma imagem de ‘ruído’ em uma imagem normal, um classificador pode ser levado a classificar erroneamente um panda como um gibão. A diferença é imperceptível para o olho humano, mas essa técnica está bem documentada como capaz de enganar os modelos de IA.

A noção de IA confiável não pode ser reduzida à sua concepção legal e técnica. Os aspectos humanos e organizacionais são fundamentais para o sucesso de uma abordagem ética da IA. As cartas éticas e as soluções de aprimoramento devem ser conhecidas por todas as partes interessadas, aplicadas durante todo o processo de criação e seguidas ao longo do tempo. Isso exige uma transformação da cultura da organização para integrar profundamente as questões e abordagens éticas, garantir a sustentabilidade das soluções e contribuir para uma IA ética por projeto.

A IA em si não é ética nem antiética. Somente a forma como o sistema é treinado ou como é usado é que é ética ou não. O verdadeiro risco ético associado ao uso maciço da IA não é, portanto, a possibilidade de os algoritmos se revoltarem. Pelo contrário, o risco surge justamente quando a IA se comporta exatamente como pedimos, imitando nossos preconceitos, repetindo nossos erros e reforçando nossas incertezas e imprecisões.

“O risco surge justamente quando a IA se comporta exatamente como pedimos que ela faça.”

Esse assunto é muito importante para nós da Artefact, Por isso, dedicamos equipes a ele e desenvolvemos suporte específico para o desenvolvimento de governança, implementação de soluções técnicas e consultoria de estratégia de IA.

Trabalhamos em estreita colaboração com o mundo acadêmico, como um parceiro da Bom em tecnologia cofundada pelo Institut Mines-Télécom e pela Sciences Po, para reduzir a lacuna entre a pesquisa e a prática. O Artefact também recebeu o selo Responsible and Trusted AI, concedido pela associação independente Laboratórios Labelia, que garante um alto nível de maturidade na questão da IA responsável e confiável.

A questão da ética diz respeito a todos nós, e é essencial ser proativo em relação ao assunto; a adoção de um comportamento ético não deve ser apenas uma reação. A inteligência artificial está passando por um período evolutivo, em que seus processos e ethos estão em processo de definição. Em um campo que ainda não é regulamentado, cabe àqueles que estão desempenhando um papel ativo assumir a liderança. Como desenvolvedores, consultores e gerentes, é nossa responsabilidade atender às expectativas de todos os envolvidos - não apenas dos clientes e usuários de serviços, mas da sociedade em geral - e usar o poder da IA para criar um mundo melhor.