{"id":61815,"date":"2021-07-27T16:15:44","date_gmt":"2021-07-27T15:15:44","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=news&p=61815"},"modified":"2024-09-20T17:45:46","modified_gmt":"2024-09-20T16:45:46","slug":"including-ethics-best-practices-in-your-data-science-project-from-day-one","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/es\/blog\/including-ethics-best-practices-in-your-data-science-project-from-day-one\/","title":{"rendered":"Incluir las mejores pr\u00e1cticas \u00e9ticas en su proyecto cient\u00edfico Data desde el primer d\u00eda"},"content":{"rendered":"

Autor<\/h2><\/div>\"Image\"

Karim Si Larbi<\/h3><\/div>

Cient\u00edfico Senior Data en Artefact<\/p>\n<\/div><\/div><\/div><\/div><\/div>

He aqu\u00ed algunas pautas para construir soluciones de aprendizaje autom\u00e1tico fiables sin caer en trampas \u00e9ticas.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Lea nuestro art\u00edculo sobre<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Introducci\u00f3n<\/h2><\/div>

El uso del aprendizaje autom\u00e1tico como medio para la toma de decisiones se ha convertido ya en omnipresente. Muchas de las salidas de los servicios que utilizamos a diario son el resultado de una decisi\u00f3n tomada por el aprendizaje autom\u00e1tico. Como consecuencia, estamos asistiendo a una reducci\u00f3n gradual de la intervenci\u00f3n humana en \u00e1reas que afectan a todos los aspectos de nuestra vida cotidiana y en las que cualquier fallo en el juicio del modelo algor\u00edtmico podr\u00eda tener implicaciones adversas. Por lo tanto, es esencial establecer directrices adecuadas para construir soluciones de aprendizaje autom\u00e1tico fiables y responsables, teniendo en cuenta la \u00e9tica como pilar fundamental.<\/p>\n<\/div>

En los \u00faltimos a\u00f1os, la \u00e9tica en el aprendizaje autom\u00e1tico ha experimentado un aumento significativo en la investigaci\u00f3n acad\u00e9mica, con importantes conferencias como\u00a0FACCT<\/a>\u00a0y\u00a0AIES<\/a>, as\u00ed como en grandes empresas tecnol\u00f3gicas que est\u00e1n formando equipos de r\u00e1pido crecimiento para afrontar los retos \u00e9ticos.<\/p>\n<\/div>

La IA \u00e9tica es un tema amplio que abarca muchos aspectos, como la privacidad, el data governance, el bienestar social y medioambiental, la responsabilidad algor\u00edtmica, etc. En este art\u00edculo nos centraremos principalmente en los siguientes componentes de la \u00e9tica en el aprendizaje autom\u00e1tico:\u00a0equidad, explicabilidad y trazabilidad<\/strong>. Primero discutiremos lo que est\u00e1 en juego y por qu\u00e9 es obligatorio prestar atenci\u00f3n a la \u00e9tica, despu\u00e9s exploraremos c\u00f3mo enmarcar y desarrollar su proyecto de aprendizaje autom\u00e1tico teniendo la \u00e9tica en mente y c\u00f3mo hacer un seguimiento de la \u00e9tica una vez desplegado en producci\u00f3n.<\/p>\n<\/div>

Por qu\u00e9 debemos prestar atenci\u00f3n a la \u00e9tica<\/h2><\/div>

Con los algoritmos de aprendizaje autom\u00e1tico y el conjunto de abstracciones e hip\u00f3tesis subyacentes cada vez m\u00e1s complejos, se ha convertido en un reto captar y comprender plenamente todas las posibles consecuencias de todo el sistema.
\nHa habido varios ejemplos de alto perfil en el mundo real de algoritmos injustos de aprendizaje autom\u00e1tico que han dado lugar a resultados sub\u00f3ptimos y discriminatorios. Entre ellos, el conocido ejemplo de COMPAS. COMPAS era un software comercial ampliamente utilizado que mide el riesgo de que una persona vuelva a cometer otro delito, que se compar\u00f3 con el juicio humano normal en un\u00a0estudie<\/a>\u00a0y posteriormente se descubri\u00f3 que estaba sesgado en contra de los afroamericanos: El COMPAS ten\u00eda m\u00e1s probabilidades de asignar una puntuaci\u00f3n de riesgo m\u00e1s alta a los delincuentes afroamericanos que a los cauc\u00e1sicos con el mismo perfil.<\/p>\n<\/div>

En el campo de la PNL, se detect\u00f3 biais de g\u00e9nero en las primeras versiones de Google Translate que se abord\u00f3 en 2018 y m\u00e1s recientemente.<\/p>\n

En el \u00e1mbito de la atribuci\u00f3n de cr\u00e9ditos, Goldman Sachs estaba siendo investigado por utilizar un algoritmo de IA que supuestamente discriminaba a los women al conceder l\u00edmites de cr\u00e9dito mayores a los hombres que a los women en sus tarjetas Apple.<\/p>\n

En el \u00e1mbito de la atenci\u00f3n sanitaria, un algoritmo de predicci\u00f3n de riesgos utilizado en m\u00e1s de 200 millones de personas en EE.UU. demostr\u00f3 un sesgo racial.<\/p>\n<\/div>

Sin un marco claramente definido sobre c\u00f3mo analizar, identificar y mitigar los sesgos, los riesgos de caer en trampas \u00e9ticas pueden ser bastante elevados. Por ello, cada vez es m\u00e1s importante establecer unas directrices adecuadas para construir modelos que produzcan resultados que sean apropiados y justos, sobre todo en los \u00e1mbitos en los que intervienen personas. Construir una IA digna de confianza hace que los usuarios finales se sientan seguros cuando la utilizan, y permite a las empresas ejercer un mayor control sobre su uso con el fin de aumentar la eficacia y evitar al mismo tiempo cualquier perjuicio.\u00a0Para que su IA sea digna de confianza, en realidad tiene que empezar a pensar en la \u00e9tica incluso antes de procesar data y desarrollar algoritmos.<\/strong><\/p>\n<\/div>

C\u00f3mo pensar en la \u00e9tica incluso antes de que comience su proyecto<\/h2><\/div>

La \u00e9tica debe tenerse en cuenta desde el principio de un nuevo proyecto, sobre todo en la fase de planteamiento del problema. Debe tener en mente a los usuarios finales a los que se dirige, as\u00ed como el objetivo de la soluci\u00f3n propuesta, para establecer el marco de an\u00e1lisis y gesti\u00f3n de riesgos adecuado para identificar los da\u00f1os directos o indirectos que puede inducir la soluci\u00f3n.<\/strong>\u00a0Deber\u00eda preguntarse, en estas condiciones, \u00bfpodr\u00eda mi soluci\u00f3n conducir a decisiones que podr\u00edan estar sesgadas hacia un subgrupo concreto de usuarios finales?<\/p>\n<\/div>

Por lo tanto, es fundamental crear indicadores clave de rendimiento para realizar un seguimiento de los m\u00e9todos que llevan a cabo la eficacia de su estrategia de gesti\u00f3n de riesgos. Un marco s\u00f3lido tambi\u00e9n podr\u00eda incorporar, cuando sea posible, un mecanismo \u00e9tico de reducci\u00f3n de riesgos.
\nCuando se trata de un tema delicado que tiene un alto potencial de riesgo, es necesario ampliar el tiempo asignado a la fase de exploraci\u00f3n y construcci\u00f3n para inyectar un an\u00e1lisis de evaluaci\u00f3n \u00e9tica exhaustivo y\u00a0mitigaci\u00f3n de sesgos<\/strong>\u00a0estrategias.<\/p>\n<\/div>

Tambi\u00e9n debe establecer mecanismos que faciliten al sistema de IA\u00a0auditabilidad<\/strong>\u00a0y\u00a0 reproducibilidad <\/strong>. Una traza l\u00f3gica debe estar disponible para su inspecci\u00f3n, de modo que cualquier problema pueda ser revisado o investigado m\u00e1s a fondo. Esto se consigue imponiendo un buen nivel de\u00a0trazabilidad<\/strong>\u00a0mediante la documentaci\u00f3n, el registro, el seguimiento y el control de versiones.<\/p>\n

Cada fuente de data y cada transformaci\u00f3n de data tambi\u00e9n deben documentarse para que las decisiones tomadas para procesar el data sean transparentes y trazables. Esto permite localizar los pasos que pueden haber inyectado o reforzado un sesgo.<\/p>\n<\/div>

C\u00f3mo incluir la \u00e9tica en el desarrollo de su proyecto data<\/h2><\/div>

Para incluir la \u00e9tica en el desarrollo de su proyecto data, es importante incluir al menos tres componentes: imparcialidad, explicabilidad y trazabilidad.<\/p>\n<\/div>

Equidad<\/h3><\/div>

El primer paso en la mayor\u00eda de los proyectos de aprendizaje autom\u00e1tico suele ser la recopilaci\u00f3n de data. Tanto si se lleva a cabo el proceso de recopilaci\u00f3n de data como si se utiliza un dataset existente, es crucial conocer c\u00f3mo se realiz\u00f3 la recopilaci\u00f3n. Por lo general, no es factible incluir a toda la poblaci\u00f3n objetivo, por lo que las caracter\u00edsticas y las etiquetas podr\u00edan muestrearse a partir de un subconjunto, filtrarse seg\u00fan alg\u00fan criterio o agregarse. Todos estos pasos pueden introducir sesgos estad\u00edsticos que pueden tener consecuencias \u00e9ticas.<\/p>\n<\/div>

Sesgo de representaci\u00f3n<\/h3><\/div>

surge de la forma en que definimos y muestreamos una poblaci\u00f3n. Por ejemplo, la falta de diversidad geogr\u00e1fica en datasets como ImageNet ha demostrado un sesgo hacia los pa\u00edses occidentales. Como consecuencia de\u00a0sesgo de muestreo<\/strong>, las tendencias estimadas para una poblaci\u00f3n pueden no generalizarse al data recogido de una nueva poblaci\u00f3n.<\/p>\n<\/div>

<\/span><\/div>

De ah\u00ed la necesidad de definir protocolos adecuados de recogida de data y de analizar la diversidad de los data recibidos e informar al equipo de las lagunas o riesgos detectados. Es necesario recoger el data de la forma m\u00e1s objetiva posible. Por ejemplo, asegur\u00e1ndose, mediante alg\u00fan an\u00e1lisis estad\u00edstico, de que la muestra es representativa de la poblaci\u00f3n o grupo que est\u00e1 estudiando y, en la medida de lo posible, combinando aportaciones de m\u00faltiples fuentes para garantizar la diversidad de data.
\nEs obligatorio documentar los hallazgos y todo el proceso de recogida de data.<\/p>\n<\/div>

De hecho, hay muchas fuentes posibles de sesgo que pueden existir de muchas formas, algunas de las cuales pueden dar lugar a injusticias en diferentes tareas de aprendizaje descendente.
\nDado que el n\u00facleo de los algoritmos de aprendizaje autom\u00e1tico supervisado es el data de entrenamiento, los modelos pueden aprender su comportamiento a partir de data que pueden sufrir la inclusi\u00f3n de sesgos hist\u00f3ricos o estad\u00edsticos no intencionados.\u00a0Sesgo hist\u00f3rico<\/strong>\u00a0pueden filtrarse en el proceso de generaci\u00f3n de data incluso con un muestreo y una selecci\u00f3n de caracter\u00edsticas perfectos. La persistencia de estos sesgos podr\u00eda dar lugar a una discriminaci\u00f3n involuntaria contra determinados grupos o individuos, lo que puede exacerbar los prejuicios y la marginaci\u00f3n.<\/p>\n<\/div>

No todas las fuentes de sesgo tienen su origen en el data, el proceso completo de aprendizaje autom\u00e1tico implica una serie de elecciones y pr\u00e1cticas a lo largo del camino, desde el preprocesamiento del data hasta el despliegue del modelo.
\nNo es sencillo identificar desde el principio si pueden surgir problemas y c\u00f3mo. Se necesita un an\u00e1lisis exhaustivo para detectar los problemas que puedan surgir. Dependiendo del caso de uso, del tipo de data y del objetivo de la tarea, se aplicar\u00e1n diferentes m\u00e9todos.
\nEn esta secci\u00f3n, exploraremos algunas t\u00e9cnicas para identificar y mitigar el sesgo \u00e9tico a trav\u00e9s de un caso de uso ilustrativo. Primero plantearemos el problema, despu\u00e9s veremos c\u00f3mo medir el sesgo y, por \u00faltimo, utilizaremos algunas t\u00e9cnicas para mitigar el sesgo durante el preprocesamiento, el procesamiento y el postprocesamiento.<\/p>\n<\/div>

Planteamiento del problema<\/h4><\/div>

Digamos que est\u00e1 construyendo un algoritmo de puntuaci\u00f3n en el sector bancario para automatizar la targeting de los clientes que se beneficiar\u00e1n o no de un acuerdo premium. Le dan un conjunto hist\u00f3rico data que contiene muchas caracter\u00edsticas sobre su data significativa acerca de sus clientes, as\u00ed como el objetivo binario \u201celegible para un acuerdo premium\u201d. Los elementos de PII (informaci\u00f3n personal identificable) han sido previamente eliminados del dataset por lo que no habr\u00e1 ning\u00fan problema de privacidad en juego (a este respecto, el servicio de prevenci\u00f3n de p\u00e9rdidas cloud de google es una gran herramienta para realizar la tarea de desidentificaci\u00f3n de su data sensible).
\nEste caso de uso puede parecer algo ficticio, pero el problema se acerca a un caso de uso real que tratamos en el pasado en otro sector.<\/p>\n<\/div>

Medici\u00f3n del sesgo<\/h4><\/div>

El primer paso del an\u00e1lisis consiste en explorar el data para identificar las caracter\u00edsticas sensibles, el valor privilegiado y la etiqueta favorable.<\/p>\n

Caracter\u00edsticas sensibles\u00a0<\/strong>(o a veces llamado\u00a0atributos protegidos<\/strong>) son caracter\u00edsticas que dividen a una poblaci\u00f3n en grupos que deber\u00edan tener paridad en cuanto a las prestaciones recibidas. Estas caracter\u00edsticas pueden tener un potencial discriminatorio hacia determinados subgrupos. Por ejemplo: el sexo, el g\u00e9nero, la edad, la situaci\u00f3n familiar, la clasificaci\u00f3n socioecon\u00f3mica, el estado civil, etc. y cualquier proxy data derivado de ellos (por ejemplo, la ubicaci\u00f3n geogr\u00e1fica o los importes de las facturas pueden actuar como proxies de la clasificaci\u00f3n socioecon\u00f3mica, ya que se ha observado en algunas situaciones que pueden estar fuertemente correlacionados) son caracter\u00edsticas sensibles.<\/p>\n

A valor privilegiado<\/strong>\u00a0de un rasgo sensible denota un grupo que ha tenido, hist\u00f3ricamente, una ventaja sistem\u00e1tica.<\/p>\n<\/div>

A etiqueta favorable<\/strong>\u00a0es una etiqueta cuyo valor proporciona un resultado positivo que beneficia al receptor.Durante la fase de preparaci\u00f3n de la data, pasos como la divisi\u00f3n de la data, el submuestreo o el sobremuestreo, el tratamiento de los valores perdidos y los valores at\u00edpicos podr\u00edan introducir sesgos si no se llevan a cabo con cuidado. Las proporciones de valores perdidos o valores at\u00edpicos en los subgrupos sobre caracter\u00edsticas sensibles pueden ser un primer paso para identificar el sesgo. Algunas estrategias de imputaci\u00f3n pueden introducir sesgos estad\u00edsticos, por ejemplo, imputar los valores perdidos de la caracter\u00edstica edad del cliente por su mediana.<\/p>\n

En nuestro ejemplo de puntuaci\u00f3n, dibujamos el gr\u00e1fico de c\u00f3mo se distribuye la formaci\u00f3n data entre g\u00e9neros con respecto al objetivo \u201celegible para un acuerdo premium\u201d :<\/p>\n<\/div>

<\/span><\/div>

Podemos ver que la distribuci\u00f3n del objetivo est\u00e1 desequilibrada a favor del g\u00e9nero\u00a0Hombre<\/em>. Partamos de la hip\u00f3tesis de que el valor de privilegio es\u00a0Hombre<\/em>\u00a0donde\u00a0g\u00e9nero<\/em> es una caracter\u00edstica sensible y la etiqueta favorable es \u201celegible para un trato preferente\u201d. Adem\u00e1s, esto podr\u00eda corresponder a un sesgo de representaci\u00f3n en el data. De hecho, en un caso en el que se respete la equidad, se podr\u00eda asegurar que las distribuciones en el data est\u00e1n totalmente equilibradas o corresponden a las distribuciones en el data demogr\u00e1fico.<\/p>\n

Llegados a este punto, podr\u00eda tener la tentaci\u00f3n de descartar simplemente los rasgos sensibles de su dataset, pero se ha demostrado que eliminar los atributos sensibles no es necesariamente suficiente para que su modelo sea justo. El modelo podr\u00eda utilizar otros rasgos que se correlacionen con el rasgo sensible eliminado, reproduciendo sesgos hist\u00f3ricos. Por poner un ejemplo, una caracter\u00edstica A podr\u00eda estar fuertemente correlacionada con la edad de un cliente, de modo que si el data tiene un sesgo hacia una determinada franja de edad (el sesgo hist\u00f3rico podr\u00eda dar lugar a discriminaci\u00f3n por motivos de edad en la contrataci\u00f3n, promoci\u00f3n, etc.) este sesgo se codificar\u00e1 en la caracter\u00edstica A y eliminar la edad de un cliente no aliviar\u00e1 el problema. Si mantiene la caracter\u00edstica sensible en su data, cuando sea necesario, podr\u00e1 tener un mayor control sobre las mediciones y la mitigaci\u00f3n del sesgo y la imparcialidad.<\/p>\n<\/div>

M\u00e9tricas de sesgo<\/h4><\/div>

Existe una gran variedad de definiciones de equidad y de m\u00e9tricas de equidad. Podemos dividir la equidad en\u00a0equidad individual<\/strong>\u00a0y\u00a0equidad de grupo<\/strong>. La equidad individual da predicciones similares a individuos similares mientras que la equidad de grupo trata por igual a grupos diferentes.<\/p>\n

Para lograr la equidad de grupo, queremos que la probabilidad de un resultado positivo sea la misma independientemente de si la persona est\u00e1 en el protegido (por ejemplo,\u00a0mujer<\/em>) grupo o no.
\nUna m\u00e9trica de grupo sencilla consiste en comparar el porcentaje de resultados favorables para los grupos privilegiados y no privilegiados (en nuestro ejemplo el g\u00e9nero\u00a0Hombre<\/em>\u00a0que son \u201celegibles para un acuerdo premium\u201d en comparaci\u00f3n con el g\u00e9nero\u00a0Mujer<\/em>\u00a0que son \u201celegibles para un acuerdo premium\u201d). Puede calcular esta comparaci\u00f3n como una diferencia entre los dos porcentajes, lo que lleva a la\u00a0diferencia de paridad estad\u00edstica<\/strong>\u00a0m\u00e9trica (tambi\u00e9n llamada\u00a0paridad demogr\u00e1fica<\/strong>):<\/p>\n<\/div>

<\/span><\/div>

Para que no haya diferencias en los resultados favorables entre los grupos privilegiados y no privilegiados, la diferencia de paridad estad\u00edstica debe ser igual a 0.
\nSobre el tema de la m\u00e9trica de la equidad individual existe la\u00a0coherencia<\/strong>\u00a0que mide el grado de similitud de las etiquetas de individuos similares mediante un algoritmo de vecino m\u00e1s pr\u00f3ximo:<\/p>\n<\/div>

<\/span><\/div>

No nos centraremos en este tema pero el lector interesado podr\u00eda consultar esto\u00a0art\u00edculo<\/a>.
\nPuede utilizar la pr\u00e1ctica biblioteca\u00a0AIF360<\/a>\u00a0que le permite calcular muchas m\u00e9tricas de equidad.
\nTodo lo que tiene que hacer es envolver su dataframe en el\u00a0Est\u00e1ndar1TP42Conjunto<\/em>. AIF360 utiliza un\u00a0Est\u00e1ndar1TP42Conjunto<\/em>\u00a0que envuelve un Pandas DataFrame con muchos atributos y m\u00e9todos espec\u00edficos para procesar y medir los sesgos \u00e9ticos. A continuaci\u00f3n, puede utilizarlo como entrada para el\u00a0BinaryLabelDatasetMetric<\/em> que calcular\u00e1 un conjunto de m\u00e9tricas \u00fatiles.<\/p>\n<\/div>

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
params_aif<\/span> =<\/span> <\/td>\n<\/tr>\n
<\/td>\n<\/td>\n<\/tr>\n
<\/td>\n# Crear aif360 Est\u00e1ndarDatasets<\/span><\/td>\n<\/tr>\n
<\/td>\ntrain_standard_dataset<\/span> =<\/span> Est\u00e1ndar1TP42Conjunto<\/span>(df<\/span>=<\/span>train_dataframe<\/span>,<\/td>\n<\/tr>\n
<\/td>\n**<\/span>params_aif<\/span>)<\/td>\n<\/tr>\n
<\/td>\n<\/td>\n<\/tr>\n
<\/td>\ngrupos_privilegiados<\/span> =<\/span> []<\/td>\n<\/tr>\n
<\/td>\ngrupos_no_privilegiados<\/span> =<\/span> []<\/td>\n<\/tr>\n
<\/td>\n<\/td>\n<\/tr>\n
<\/td>\ntrain_bldm<\/span> =<\/span> BinaryLabelDatasetMetric<\/span>(train_standard_dataset<\/span>,<\/td>\n<\/tr>\n
<\/td>\ngrupos_no_privilegiados<\/span>=<\/span>grupos_no_privilegiados<\/span>,<\/td>\n<\/tr>\n
<\/td>\ngrupos_privilegiados<\/span>=<\/span>grupos_privilegiados<\/span>)<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>

Una vez medido en el entrenamiento de nuestro ejemplo de puntuaci\u00f3n data, observamos una diferencia de paridad estad\u00edstica media de -0,21 que indica que el grupo privilegiado\u00a0Hombre<\/em>\u00a0tuvo 21% resultados m\u00e1s positivos en el conjunto de entrenamiento data.<\/p>\n<\/div>

Mitigaci\u00f3n de sesgos<\/h4><\/div>

Los m\u00e9todos que se centran en los sesgos algor\u00edtmicos suelen dividirse en tres categor\u00edas:<\/p>\n<\/div>