{"id":61815,"date":"2021-07-27T16:15:44","date_gmt":"2021-07-27T15:15:44","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=news&p=61815"},"modified":"2024-09-20T17:45:46","modified_gmt":"2024-09-20T16:45:46","slug":"including-ethics-best-practices-in-your-data-science-project-from-day-one","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/br\/blog\/including-ethics-best-practices-in-your-data-science-project-from-day-one\/","title":{"rendered":"Incluir as pr\u00e1ticas recomendadas de \u00e9tica em seu projeto cient\u00edfico Data desde o primeiro dia"},"content":{"rendered":"

Autor<\/h2><\/div>\"Image\"

Karim Si Larbi<\/h3><\/div>

Cientista s\u00eanior do Data no Artefact<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Aqui est\u00e3o algumas diretrizes para criar solu\u00e7\u00f5es confi\u00e1veis de aprendizado de m\u00e1quina sem cair em armadilhas \u00e9ticas.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Leia nosso artigo sobre<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Introdu\u00e7\u00e3o<\/h2><\/div>

O uso do aprendizado de m\u00e1quina como um meio de tomada de decis\u00e3o tornou-se onipresente. Muitos dos resultados dos servi\u00e7os que usamos todos os dias s\u00e3o o resultado de uma decis\u00e3o tomada pelo aprendizado de m\u00e1quina. Como consequ\u00eancia, estamos vendo uma redu\u00e7\u00e3o gradual da interven\u00e7\u00e3o humana em \u00e1reas que afetam todos os aspectos de nossa vida di\u00e1ria e onde qualquer falha no julgamento do modelo algor\u00edtmico pode ter implica\u00e7\u00f5es adversas. Portanto, \u00e9 essencial definir diretrizes adequadas para criar solu\u00e7\u00f5es de aprendizado de m\u00e1quina confi\u00e1veis e respons\u00e1veis, levando em considera\u00e7\u00e3o a \u00e9tica como um pilar fundamental.<\/p>\n<\/div>

Nos \u00faltimos anos, a \u00e9tica na aprendizagem de m\u00e1quina teve um aumento significativo na pesquisa acad\u00eamica, com grandes confer\u00eancias, como a\u00a0FACCT<\/a>\u00a0e\u00a0AIES<\/a>, bem como em grandes empresas de tecnologia que est\u00e3o formando equipes de r\u00e1pido crescimento para enfrentar os desafios \u00e9ticos.<\/p>\n<\/div>

A \u00e9tica em IA \u00e9 um assunto amplo que abrange muitos t\u00f3picos, como privacidade, data governance, bem-estar social e ambiental, responsabilidade algor\u00edtmica etc. Neste artigo, vamos nos concentrar principalmente nos seguintes componentes da \u00e9tica no aprendizado de m\u00e1quina:\u00a0justi\u00e7a, explicabilidade e rastreabilidade<\/strong>. Primeiro, discutiremos o que est\u00e1 em jogo e por que \u00e9 obrigat\u00f3rio prestar aten\u00e7\u00e3o \u00e0 \u00e9tica. Em seguida, exploraremos como estruturar e desenvolver seu projeto de aprendizado de m\u00e1quina tendo a \u00e9tica em mente e como acompanhar a \u00e9tica depois de implantada na produ\u00e7\u00e3o.<\/p>\n<\/div>

Por que devemos prestar aten\u00e7\u00e3o \u00e0 \u00e9tica<\/h2><\/div>

Com os algoritmos de aprendizado de m\u00e1quina e o conjunto de abstra\u00e7\u00f5es e hip\u00f3teses subjacentes a eles se tornando cada vez mais complexos, tornou-se um desafio compreender e entender completamente todas as poss\u00edveis consequ\u00eancias de todo o sistema.
\nHouve v\u00e1rios exemplos reais de alto n\u00edvel de algoritmos de aprendizado de m\u00e1quina injustos que resultaram em resultados sub\u00f3timos e discriminat\u00f3rios. Entre eles, o conhecido exemplo do COMPAS. O COMPAS era um software comercial amplamente utilizado que mede o risco de uma pessoa voltar a cometer outro crime, que foi comparado ao julgamento humano normal em um\u00a0estudo<\/a>\u00a0e, posteriormente, descobriu-se que era tendencioso em rela\u00e7\u00e3o aos afro-americanos: O COMPAS tinha maior probabilidade de atribuir uma pontua\u00e7\u00e3o de risco mais alta aos infratores afro-americanos do que aos caucasianos com o mesmo perfil.<\/p>\n<\/div>

No campo da PNL, o g\u00eanero biais foi detectado nas primeiras vers\u00f5es do Google Translate, o que foi resolvido em 2018 e mais recentemente.<\/p>\n

No campo da atribui\u00e7\u00e3o de cr\u00e9dito, a Goldman Sachs estava sendo investigada por usar um algoritmo de IA que supostamente discriminava women ao conceder limites de cr\u00e9dito maiores a homens do que women em seus cart\u00f5es Apple.<\/p>\n

No campo da sa\u00fade, um algoritmo de previs\u00e3o de risco usado em mais de 200 milh\u00f5es de pessoas nos EUA demonstrou preconceito racial.<\/p>\n<\/div>

Sem uma estrutura claramente definida sobre como analisar, identificar e atenuar vieses, os riscos de cair em armadilhas \u00e9ticas podem ser bastante altos. Portanto, \u00e9 cada vez mais importante definir diretrizes adequadas para criar modelos que produzam resultados apropriados e justos, especialmente em dom\u00ednios que envolvem pessoas. A cria\u00e7\u00e3o de uma IA confi\u00e1vel faz com que os usu\u00e1rios finais se sintam seguros ao us\u00e1-la e permite que as empresas exer\u00e7am mais controle sobre seu uso a fim de aumentar a efici\u00eancia e, ao mesmo tempo, evitar qualquer dano.\u00a0Para que sua IA seja confi\u00e1vel, o senhor precisa come\u00e7ar a pensar em \u00e9tica antes mesmo de processar o data e desenvolver algoritmos.<\/strong><\/p>\n<\/div>

Como pensar em \u00e9tica antes mesmo do in\u00edcio de seu projeto<\/h2><\/div>

A \u00e9tica deve ser considerada desde o in\u00edcio de um novo projeto, principalmente na fase de defini\u00e7\u00e3o do problema. O senhor deve ter em mente os usu\u00e1rios finais visados, bem como o objetivo da solu\u00e7\u00e3o proposta, para estabelecer a an\u00e1lise correta e a estrutura de gerenciamento de riscos para identificar os danos diretos ou indiretos que podem ser induzidos pela solu\u00e7\u00e3o.<\/strong>\u00a0O senhor deve se perguntar: nessas condi\u00e7\u00f5es, minha solu\u00e7\u00e3o poderia levar a decis\u00f5es que poderiam ser distorcidas em favor de um subgrupo espec\u00edfico de usu\u00e1rios finais?<\/p>\n<\/div>

Portanto, \u00e9 fundamental criar KPIs para rastrear os m\u00e9todos que realizam a efic\u00e1cia de sua estrat\u00e9gia de gerenciamento de riscos. Uma estrutura robusta tamb\u00e9m poderia incorporar, quando poss\u00edvel, um mecanismo \u00e9tico de redu\u00e7\u00e3o de riscos.
\nAo lidar com um assunto delicado que tem um alto potencial de risco, \u00e9 necess\u00e1rio estender o tempo alocado para a fase de explora\u00e7\u00e3o e constru\u00e7\u00e3o a fim de injetar uma an\u00e1lise de avalia\u00e7\u00e3o \u00e9tica completa e\u00a0atenua\u00e7\u00e3o de preconceitos<\/strong>\u00a0estrat\u00e9gias.<\/p>\n<\/div>

O senhor tamb\u00e9m deve estabelecer mecanismos que facilitem o sistema de IA.\u00a0auditabilidade<\/strong>\u00a0e\u00a0 reprodutibilidade <\/strong>. Um rastreamento l\u00f3gico deve estar dispon\u00edvel para inspe\u00e7\u00e3o, de modo que qualquer problema possa ser revisado ou investigado mais a fundo. Isso \u00e9 feito por meio da aplica\u00e7\u00e3o de um bom n\u00edvel de\u00a0rastreabilidade<\/strong>\u00a0por meio de documenta\u00e7\u00e3o, registro, rastreamento e controle de vers\u00e3o.<\/p>\n

Cada fonte de data e transforma\u00e7\u00e3o de data tamb\u00e9m deve ser documentada para que as escolhas feitas para processar o data sejam transparentes e rastre\u00e1veis. Isso permite identificar as etapas que podem ter injetado ou refor\u00e7ado um vi\u00e9s.<\/p>\n<\/div>

Como incluir a \u00e9tica ao desenvolver seu projeto data<\/h2><\/div>

Para incluir a \u00e9tica no desenvolvimento de seu projeto data, \u00e9 importante incluir pelo menos tr\u00eas componentes: justi\u00e7a, explicabilidade e rastreabilidade.<\/p>\n<\/div>

Equidade<\/h3><\/div>

A primeira etapa na maioria dos projetos de aprendizado de m\u00e1quina geralmente \u00e9 a coleta do data. Seja passando pelo processo de coleta do data ou usando um conjunto de data existente, o conhecimento de como a coleta foi realizada \u00e9 fundamental. Normalmente, n\u00e3o \u00e9 vi\u00e1vel incluir toda a popula\u00e7\u00e3o-alvo, de modo que os recursos e r\u00f3tulos podem ser amostrados em um subconjunto, filtrados com base em alguns crit\u00e9rios ou agregados. Todas essas etapas podem introduzir um vi\u00e9s estat\u00edstico que pode ter consequ\u00eancias \u00e9ticas.<\/p>\n<\/div>

Vi\u00e9s de representa\u00e7\u00e3o<\/h3><\/div>

decorre da forma como definimos e coletamos amostras de uma popula\u00e7\u00e3o. Por exemplo, a falta de diversidade geogr\u00e1fica em conjuntos data, como o ImageNet, demonstrou um vi\u00e9s em rela\u00e7\u00e3o aos pa\u00edses ocidentais. Como resultado da\u00a0vi\u00e9s de amostragem<\/strong>, Se o senhor n\u00e3o tiver uma vis\u00e3o geral, as tend\u00eancias estimadas para uma popula\u00e7\u00e3o podem n\u00e3o ser generalizadas para o data coletado de uma nova popula\u00e7\u00e3o.<\/p>\n<\/div>

<\/span><\/div>

Portanto, \u00e9 necess\u00e1rio definir protocolos adequados de coleta de data e analisar a diversidade do data recebido e informar \u00e0 equipe quaisquer lacunas ou riscos detectados. O senhor precisa coletar o data da forma mais objetiva poss\u00edvel. Por exemplo, garantindo, por meio de alguma an\u00e1lise estat\u00edstica, que a amostra seja representativa da popula\u00e7\u00e3o ou do grupo que o senhor est\u00e1 estudando e, na medida do poss\u00edvel, combinando dados de v\u00e1rias fontes para garantir a diversidade do data.
\n\u00c9 obrigat\u00f3rio documentar as descobertas e todo o processo de coleta do data.<\/p>\n<\/div>

Na verdade, h\u00e1 muitas fontes poss\u00edveis de preconceito que podem existir de v\u00e1rias formas, algumas das quais podem levar \u00e0 injusti\u00e7a em diferentes tarefas de aprendizado downstream.
\nComo o n\u00facleo dos algoritmos de aprendizado de m\u00e1quina supervisionado \u00e9 o data de treinamento, os modelos podem aprender seu comportamento com o data, que pode sofrer com a inclus\u00e3o de vieses hist\u00f3ricos ou estat\u00edsticos n\u00e3o intencionais.\u00a0Vi\u00e9s hist\u00f3rico<\/strong>\u00a0podem se infiltrar no processo de gera\u00e7\u00e3o do data, mesmo com uma amostragem e sele\u00e7\u00e3o de recursos perfeitas. A persist\u00eancia desses vieses pode levar a uma discrimina\u00e7\u00e3o n\u00e3o intencional contra determinados grupos ou indiv\u00edduos, o que pode exacerbar o preconceito e a marginaliza\u00e7\u00e3o.<\/p>\n<\/div>

Nem todas as fontes de vi\u00e9s est\u00e3o enraizadas no data; o pipeline completo de aprendizado de m\u00e1quina envolve uma s\u00e9rie de escolhas e pr\u00e1ticas ao longo do caminho, desde o pr\u00e9-processamento do data at\u00e9 a implanta\u00e7\u00e3o do modelo.
\nN\u00e3o \u00e9 f\u00e1cil identificar desde o in\u00edcio se e como os problemas podem surgir. \u00c9 necess\u00e1ria uma an\u00e1lise completa para identificar os problemas emergentes. Dependendo do caso de uso, do tipo de data e do objetivo da tarefa, ser\u00e3o aplicados m\u00e9todos diferentes.
\nNesta se\u00e7\u00e3o, exploraremos algumas t\u00e9cnicas para identificar e atenuar o vi\u00e9s \u00e9tico por meio de um caso de uso ilustrativo. Primeiro, apresentaremos o problema, depois veremos como medir o vi\u00e9s e, por fim, usaremos algumas t\u00e9cnicas para atenuar o vi\u00e9s durante o pr\u00e9-processamento, o processamento e o p\u00f3s-processamento.<\/p>\n<\/div>

Declara\u00e7\u00e3o do problema<\/h4><\/div>

Digamos que o senhor esteja criando um algoritmo de pontua\u00e7\u00e3o no setor banc\u00e1rio para automatizar o targeting de clientes que se beneficiar\u00e3o ou n\u00e3o de um neg\u00f3cio premium. O senhor recebe um conjunto de data hist\u00f3rico que cont\u00e9m muitos recursos em seu data significativo sobre seus clientes, bem como o alvo bin\u00e1rio \u201celeg\u00edvel para um neg\u00f3cio premium\u201d. Os elementos de PII (informa\u00e7\u00f5es pessoais identific\u00e1veis) foram previamente removidos do dataset, de modo que n\u00e3o haver\u00e1 nenhum problema de privacidade em jogo (nesse caso, o servi\u00e7o de preven\u00e7\u00e3o de perda de data do Google cloud \u00e9 uma excelente ferramenta para realizar a tarefa de desidentifica\u00e7\u00e3o de seu data sens\u00edvel).
\nEsse caso de uso pode parecer um tanto fict\u00edcio, mas o problema est\u00e1 pr\u00f3ximo de um caso de uso real com o qual lidamos no passado em um setor diferente.<\/p>\n<\/div>

Medindo o vi\u00e9s<\/h4><\/div>

A primeira etapa da an\u00e1lise \u00e9 explorar o data para identificar os recursos sens\u00edveis, o valor privilegiado e o r\u00f3tulo favor\u00e1vel.<\/p>\n

Recursos sens\u00edveis\u00a0<\/strong>(ou \u00e0s vezes chamado de\u00a0atributos protegidos<\/strong>) s\u00e3o caracter\u00edsticas que dividem uma popula\u00e7\u00e3o em grupos que deveriam ter paridade em termos de benef\u00edcios recebidos. Essas caracter\u00edsticas podem ter um potencial discriminat\u00f3rio em rela\u00e7\u00e3o a determinados subgrupos. Por exemplo: sexo, g\u00eanero, idade, situa\u00e7\u00e3o familiar, classifica\u00e7\u00e3o socioecon\u00f4mica, estado civil etc. e qualquer proxy data derivado deles (por exemplo, a localiza\u00e7\u00e3o geogr\u00e1fica ou os valores das contas podem atuar como proxies para a classifica\u00e7\u00e3o socioecon\u00f4mica, pois, em algumas situa\u00e7\u00f5es, observa-se que eles podem estar fortemente correlacionados) s\u00e3o caracter\u00edsticas sens\u00edveis.<\/p>\n

A valor privilegiado<\/strong>\u00a0de uma caracter\u00edstica sens\u00edvel denota um grupo que teve, historicamente, uma vantagem sistem\u00e1tica.<\/p>\n<\/div>

A r\u00f3tulo favor\u00e1vel<\/strong>\u00a0Durante a fase de prepara\u00e7\u00e3o do data, etapas como dividir o data, subamostragem ou superamostragem, lidar com valores ausentes e outliers podem introduzir vi\u00e9s se n\u00e3o forem realizadas com cuidado. As propor\u00e7\u00f5es de valores ausentes ou discrepantes entre subgrupos em caracter\u00edsticas sens\u00edveis podem ser uma primeira etapa na identifica\u00e7\u00e3o de vi\u00e9s. Algumas estrat\u00e9gias de imputa\u00e7\u00e3o podem introduzir vi\u00e9s estat\u00edstico, por exemplo, imputar os valores ausentes da caracter\u00edstica de idade do cliente pela sua mediana.<\/p>\n

Em nosso exemplo de pontua\u00e7\u00e3o, desenhamos o gr\u00e1fico de como o treinamento data \u00e9 distribu\u00eddo entre os g\u00eaneros em rela\u00e7\u00e3o \u00e0 meta \u201celeg\u00edvel para uma oferta premium\u201d:<\/p>\n<\/div>

<\/span><\/div>

Podemos ver que a distribui\u00e7\u00e3o do alvo \u00e9 desequilibrada em favor do g\u00eanero\u00a0Masculino<\/em>. Vamos supor que o valor do privil\u00e9gio seja\u00a0Masculino<\/em>\u00a0onde\u00a0g\u00eanero<\/em> \u00e9 um recurso sens\u00edvel e o r\u00f3tulo favor\u00e1vel \u00e9 \u201celeg\u00edvel para um acordo premium\u201d. Al\u00e9m disso, isso poderia corresponder a um vi\u00e9s de representa\u00e7\u00e3o no data. De fato, em um caso em que a equidade \u00e9 respeitada, pode-se garantir que as distribui\u00e7\u00f5es no data sejam totalmente equilibradas ou correspondam \u00e0s distribui\u00e7\u00f5es no data demogr\u00e1fico.<\/p>\n

Nesse ponto, o senhor pode ficar tentado a simplesmente descartar os recursos sens\u00edveis do seu dataset, mas foi demonstrado que a remo\u00e7\u00e3o de atributos sens\u00edveis n\u00e3o \u00e9 necessariamente suficiente para tornar seu modelo justo. O modelo poderia usar outros recursos que se correlacionam com o recurso sens\u00edvel removido, reproduzindo vieses hist\u00f3ricos. Para dar um exemplo, um recurso A poderia estar fortemente correlacionado \u00e0 idade de um cliente, portanto, se o data for tendencioso em rela\u00e7\u00e3o a uma determinada faixa et\u00e1ria (a tend\u00eancia hist\u00f3rica poderia resultar em discrimina\u00e7\u00e3o com base na idade na contrata\u00e7\u00e3o, promo\u00e7\u00e3o etc.), essa tend\u00eancia ser\u00e1 codificada no recurso A e a remo\u00e7\u00e3o da idade de um cliente n\u00e3o aliviar\u00e1 o problema. Ao manter o recurso sens\u00edvel no data, quando necess\u00e1rio, o senhor pode ter maior controle sobre as medi\u00e7\u00f5es e a atenua\u00e7\u00e3o de preconceito e justi\u00e7a.<\/p>\n<\/div>

M\u00e9tricas de vi\u00e9s<\/h4><\/div>

H\u00e1 v\u00e1rias defini\u00e7\u00f5es de justi\u00e7a e m\u00e9tricas de justi\u00e7a. Podemos dividir a justi\u00e7a em\u00a0justi\u00e7a individual<\/strong>\u00a0e\u00a0equidade do grupo<\/strong>. A justi\u00e7a individual d\u00e1 previs\u00f5es semelhantes a indiv\u00edduos semelhantes, enquanto a justi\u00e7a de grupo trata grupos diferentes de forma igual.<\/p>\n

Para obter a justi\u00e7a do grupo, queremos que a probabilidade de um resultado positivo seja a mesma, independentemente de a pessoa estar ou n\u00e3o protegida (por exemplo, o senhor pode ter uma vis\u00e3o mais ampla do que a do grupo),\u00a0feminino<\/em>) ou n\u00e3o.
\nUma m\u00e9trica de grupo simples \u00e9 comparar a porcentagem de resultados favor\u00e1veis para os grupos privilegiados e n\u00e3o privilegiados (em nosso exemplo, o g\u00eanero\u00a0Masculino<\/em>\u00a0que s\u00e3o \u201celeg\u00edveis para um acordo premium\u201d em compara\u00e7\u00e3o com o g\u00eanero\u00a0Feminino<\/em>\u00a0que s\u00e3o \u201cqualificados para uma oferta premium\u201d). O senhor pode calcular essa compara\u00e7\u00e3o como uma diferen\u00e7a entre as duas porcentagens, o que leva ao seguinte\u00a0diferen\u00e7a de paridade estat\u00edstica<\/strong>\u00a0m\u00e9trica (tamb\u00e9m chamada de\u00a0paridade demogr\u00e1fica<\/strong>):<\/p>\n<\/div>

<\/span><\/div>

Para que n\u00e3o haja diferen\u00e7a em resultados favor\u00e1veis entre grupos privilegiados e n\u00e3o privilegiados, a diferen\u00e7a de paridade estat\u00edstica deve ser igual a 0.
\nSobre a quest\u00e3o da m\u00e9trica de justi\u00e7a individual, h\u00e1 a\u00a0consist\u00eancia<\/strong>\u00a0que mede o grau de similaridade dos r\u00f3tulos de indiv\u00edduos semelhantes usando um algoritmo de vizinho mais pr\u00f3ximo:<\/p>\n<\/div>

<\/span><\/div>

N\u00e3o vamos nos concentrar nesse assunto, mas o leitor interessado pode verificar o seguinte\u00a0artigo<\/a>.
\nO senhor pode usar a pr\u00e1tica biblioteca\u00a0AIF360<\/a>\u00a0que permite que o senhor calcule muitas m\u00e9tricas de justi\u00e7a.
\nTudo o que o senhor precisa fazer \u00e9 envolver o dataframe no\u00a0Padr\u00e3oDataset<\/em>. O AIF360 usa um\u00a0Padr\u00e3oDataset<\/em>\u00a0que envolve um Pandas DataFrame com muitos atributos e m\u00e9todos espec\u00edficos para processar e medir vieses \u00e9ticos. Em seguida, o usu\u00e1rio pode usar isso como uma entrada para o\u00a0BinaryLabelDatasetMetric<\/em> que calcular\u00e1 um conjunto de m\u00e9tricas \u00fateis.<\/p>\n<\/div>

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
params_aif<\/span> =<\/span> <\/td>\n<\/tr>\n
<\/td>\n<\/td>\n<\/tr>\n
<\/td>\n# Criar aif360 StandardDatasets<\/span><\/td>\n<\/tr>\n
<\/td>\ntrain_standard_dataset<\/span> =<\/span> Padr\u00e3oDataset<\/span>(df<\/span>=<\/span>train_dataframe<\/span>,<\/td>\n<\/tr>\n
<\/td>\n**<\/span>params_aif<\/span>)<\/td>\n<\/tr>\n
<\/td>\n<\/td>\n<\/tr>\n
<\/td>\nprivileged_groups<\/span> =<\/span> []<\/td>\n<\/tr>\n
<\/td>\nunprivileged_groups<\/span> =<\/span> []<\/td>\n<\/tr>\n
<\/td>\n<\/td>\n<\/tr>\n
<\/td>\ntrem_bldm<\/span> =<\/span> BinaryLabelDatasetMetric<\/span>(train_standard_dataset<\/span>,<\/td>\n<\/tr>\n
<\/td>\nunprivileged_groups<\/span>=<\/span>unprivileged_groups<\/span>,<\/td>\n<\/tr>\n
<\/td>\nprivileged_groups<\/span>=<\/span>privileged_groups<\/span>)<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>

Uma vez medido no treinamento data do nosso exemplo de pontua\u00e7\u00e3o, observamos uma diferen\u00e7a m\u00e9dia de paridade estat\u00edstica de -0,21, o que indica que o grupo privilegiado\u00a0Masculino<\/em>\u00a0teve 21% mais resultados positivos no conjunto de treinamento data.<\/p>\n<\/div>

Mitiga\u00e7\u00e3o de vieses<\/h4><\/div>

Os m\u00e9todos que t\u00eam como alvo os vieses algor\u00edtmicos geralmente s\u00e3o divididos em tr\u00eas categorias:<\/p>\n<\/div>