Intégrer les meilleures pratiques en matière d'éthique dans votre projet scientifique Data dès le premier jour

L'utilisation de l'apprentissage automatique comme moyen de prise de décision est désormais omniprésente. De nombreux services que nous utilisons tous les jours sont le résultat d'une décision prise par l'apprentissage automatique. En conséquence, nous assistons à une réduction progressive de l'intervention humaine dans des domaines qui touchent à tous les aspects de notre vie quotidienne et où toute défaillance dans le jugement du modèle algorithmique pourrait avoir des conséquences néfastes. Il est donc essentiel d'établir des lignes directrices appropriées pour construire des solutions d'apprentissage automatique dignes de confiance et responsables, en prenant en compte l'éthique comme pilier central.

Ces dernières années, l'éthique dans l'apprentissage automatique a connu un essor important dans la recherche universitaire, avec des conférences majeures telles que FACCT et AIES, ainsi que dans les grandes entreprises technologiques qui mettent en place des équipes à croissance rapide pour relever les défis éthiques.

L'IA éthique est un vaste sujet qui couvre de nombreuses questions telles que la protection de la vie privée, le bien-être sociétal et environnemental, la responsabilité des algorithmes, etc. Dans cet article, nous nous concentrerons principalement sur les composantes suivantes de l'éthique dans l'apprentissage automatique : équité, explicabilité et traçabilité. Nous verrons d'abord quels sont les enjeux et pourquoi il est impératif de prêter attention à l'éthique, puis nous étudierons comment encadrer et développer votre projet d'apprentissage automatique en gardant l'éthique à l'esprit et comment assurer le suivi de l'éthique une fois qu'il est déployé dans la production.

Les algorithmes d'apprentissage automatique et l'ensemble des abstractions et des hypothèses qui les sous-tendent devenant de plus en plus complexes, il est devenu difficile d'appréhender et de comprendre toutes les conséquences possibles de l'ensemble du système.
Il y a eu plusieurs exemples très médiatisés d'algorithmes d'apprentissage automatique injustes produisant des résultats sous-optimaux et discriminants. Parmi ceux-ci, l'exemple bien connu du COMPAS. Le COMPAS est un logiciel commercial largement utilisé qui mesure le risque de récidive d'une personne et qui a été comparé à un jugement humain normal dans le cadre d'un projet de recherche sur la criminalité. étude et on a découvert par la suite qu'il était biaisé à l'égard des Afro-Américains : Le COMPAS était plus susceptible d'attribuer un score de risque plus élevé aux délinquants afro-américains qu'aux délinquants caucasiens ayant le même profil.

Dans le domaine du NLP, des biais de genre ont été détectés dans les premières versions de Google Translate et ont été corrigés en 2018 et plus récemment.

Dans le domaine de l'attribution de crédit, Goldman Sachs a fait l'objet d'une enquête pour avoir utilisé un algorithme d'IA qui aurait discriminé women en accordant des limites de crédit plus importantes aux hommes qu'à women sur leurs cartes Apple.

Dans le domaine des soins de santé, un algorithme de prédiction des risques utilisé sur plus de 200 millions de personnes aux États-Unis a révélé des préjugés raciaux.

En l'absence d'un cadre clairement défini sur la manière d'analyser, d'identifier et d'atténuer les biais, les risques de tomber dans des pièges éthiques peuvent être assez élevés. Il est donc de plus en plus important d'établir des lignes directrices adéquates afin de construire des modèles qui produisent des résultats appropriés et justes, en particulier dans les domaines impliquant des personnes. La construction d'une IA digne de confiance permet aux utilisateurs finaux de se sentir en sécurité lorsqu'ils l'utilisent, et aux entreprises d'exercer un plus grand contrôle sur son utilisation afin d'accroître l'efficacité tout en évitant tout préjudice. Pour que votre IA soit digne de confiance, vous devez commencer à penser à l'éthique avant même de traiter data et de développer des algorithmes.

L'éthique doit être prise en compte dès le début d'un nouveau projet, en particulier lors de la phase de cadrage du problème. Vous devez avoir à l'esprit les utilisateurs finaux ciblés ainsi que l'objectif de la solution proposée afin d'établir le bon cadre d'analyse et de gestion des risques pour identifier les préjudices directs ou indirects qui peuvent être induits par la solution. Vous devez vous demander si, dans ces conditions, ma solution peut conduire à des décisions qui pourraient être biaisées en faveur d'un sous-groupe particulier d'utilisateurs finaux.

Il est donc essentiel d'élaborer des indicateurs de performance clés pour suivre les méthodes qui assurent l'efficacité de votre stratégie de gestion des risques. Un cadre solide pourrait également intégrer, si possible, un mécanisme de réduction des risques éthiques.
Lorsqu'il s'agit d'un sujet sensible présentant un potentiel de risque élevé, il est nécessaire de prolonger le temps alloué à la phase d'exploration et de construction afin de procéder à une analyse approfondie de l'évaluation éthique et de l'impact sur l'environnement. atténuation des préjugés stratégies.

Vous devez également mettre en place des mécanismes qui facilitent le travail du système d'IA. contrôlabilité et  reproductibilité . Une trace logique doit être disponible à des fins d'inspection afin que tout problème puisse être examiné ou faire l'objet d'une enquête plus approfondie. Pour ce faire, il convient d'appliquer un bon niveau d'intégrité de la trace logique. traçabilité par le biais de la documentation, de l'enregistrement, du suivi et de la gestion des versions.

Chaque source de data et chaque transformation de data doivent également être documentées afin de rendre transparents et traçables les choix effectués pour traiter la data. Cela permet d'identifier les étapes qui ont pu injecter ou renforcer un biais.

Pour intégrer l'éthique dans l'élaboration de votre projet data, il est important d'inclure au moins trois composantes : l'équité, l'explicabilité et la traçabilité.

La première étape de la plupart des projets d'apprentissage automatique est généralement la collecte de data. Qu'il s'agisse de passer par le processus de collecte de data ou d'utiliser un ensemble de data existant, il est essentiel de savoir comment la collecte a été effectuée. En général, il n'est pas possible d'inclure l'ensemble de la population cible, de sorte que les caractéristiques et les étiquettes peuvent être échantillonnées à partir d'un sous-ensemble, filtrées sur la base de certains critères ou agrégées. Toutes ces étapes peuvent introduire un biais statistique susceptible d'avoir des conséquences éthiques.

découle de la manière dont nous définissons et échantillonnons une population. Par exemple, le manque de diversité géographique dans les ensembles data tels que ImageNet a mis en évidence un biais en faveur des pays occidentaux. En conséquence, les biais d'échantillonnage, Les tendances estimées pour une population peuvent ne pas être généralisées aux data collectées auprès d'une nouvelle population.

Il est donc nécessaire de définir des protocoles de collecte de data appropriés, d'analyser la diversité des data reçues et de signaler à l'équipe toute lacune ou tout risque détecté. Vous devez collecter data de la manière la plus objective possible. Par exemple, en vous assurant, par le biais d'une analyse statistique, que l'échantillon est représentatif de la population ou du groupe que vous étudiez et, dans la mesure du possible, en combinant des données provenant de sources multiples afin de garantir la diversité des data.
Il est obligatoire de documenter les résultats et l'ensemble du processus de collecte des data.

Il existe en fait de nombreuses sources possibles de biais qui peuvent exister sous de nombreuses formes, dont certaines peuvent conduire à des injustices dans différentes tâches d'apprentissage en aval.
Étant donné que le cœur des algorithmes d'apprentissage automatique supervisé est la data d'apprentissage, les modèles peuvent apprendre leur comportement à partir de la data qui peut souffrir de l'inclusion de biais historiques ou statistiques involontaires. Préjugés historiques peuvent s'infiltrer dans le processus de génération de data, même si l'échantillonnage et la sélection des caractéristiques sont parfaits. La persistance de ces biais peut conduire à une discrimination involontaire à l'encontre de certains groupes ou individus, ce qui peut exacerber les préjugés et la marginalisation.

Toutes les sources de biais ne sont pas enracinées dans data, le pipeline complet d'apprentissage automatique implique une série de choix et de pratiques en cours de route, depuis le prétraitement de data jusqu'au déploiement du modèle.
Il n'est pas facile d'identifier dès le départ si et comment des problèmes peuvent survenir. Une analyse approfondie est nécessaire pour identifier les problèmes émergents. Selon le cas d'utilisation, le type de data et l'objectif de la tâche, différentes méthodes s'appliqueront.
Dans cette section, nous allons explorer certaines techniques permettant d'identifier et d'atténuer les biais éthiques à l'aide d'un cas d'utilisation illustratif. Nous commencerons par énoncer le problème, puis nous verrons comment mesurer les biais et, enfin, nous utiliserons certaines techniques pour atténuer les biais lors du prétraitement, du traitement et du post-traitement.

Supposons que vous construisiez un algorithme de notation dans le secteur bancaire afin d'automatiser le targeting des clients qui bénéficieront ou non d'une offre supérieure. Vous disposez d'un ensemble data historique qui contient de nombreuses caractéristiques sur vos data significatives concernant vos clients, ainsi que la cible binaire “éligible à une offre premium”. Les éléments des IIP (informations personnelles identifiables) ont été préalablement supprimés de l'ensemble data, de sorte qu'aucun problème de confidentialité ne se pose (à cet égard, le service de prévention des pertes de google cloud data est un excellent outil pour réaliser la tâche de dépersonnalisation de vos data sensibles).
Ce cas d'utilisation peut sembler quelque peu fictif, mais le problème est proche d'un cas d'utilisation réel que nous avons traité par le passé dans un secteur différent.

La première étape de l'analyse consiste à explorer le data afin d'identifier les caractéristiques sensibles, la valeur privilégiée et l'étiquette favorable.

Caractéristiques sensibles (ou parfois appelé attributs protégés) sont des caractéristiques qui divisent une population en groupes qui devraient être paritaires en termes d'avantages reçus. Ces caractéristiques peuvent avoir un potentiel discriminatoire à l'égard de certains sous-groupes. Par exemple : le sexe, le genre, l'âge, la situation familiale, la classification socio-économique, la situation matrimoniale, etc. et tout indicateur dérivé de ces caractéristiques (par exemple, la situation géographique ou le montant des factures peuvent servir d'indicateurs de la classification socio-économique, car on a observé dans certaines situations qu'ils pouvaient être fortement corrélés) sont des caractéristiques sensibles.

A valeur privilégiée d'une caractéristique sensible dénote un groupe qui a bénéficié, historiquement, d'un avantage systématique.

A étiquette favorable Au cours de la phase de préparation du data, des étapes telles que la division du data, le sous-échantillonnage ou le suréchantillonnage, le traitement des valeurs manquantes et des valeurs aberrantes peuvent introduire des biais si elles ne sont pas effectuées avec soin. La proportion de valeurs manquantes ou de valeurs aberrantes dans les sous-groupes pour les caractéristiques sensibles peut constituer une première étape dans l'identification des biais. Certaines stratégies d'imputation peuvent introduire un biais statistique, par exemple l'imputation des valeurs manquantes de la caractéristique de l'âge du client par sa médiane.

Dans notre exemple de notation, nous avons dessiné le graphique de la répartition de la formation data entre les sexes en ce qui concerne l'objectif “éligible à une offre de prime” :

On constate que la répartition de la cible est déséquilibrée en faveur du genre Homme. Posons l'hypothèse que la valeur du privilège est de Homme où sexe est une caractéristique sensible et l'étiquette favorable est “éligible à une offre premium”. De plus, cela pourrait correspondre à un biais de représentation dans le data. En effet, dans un cas où l'équité est respectée, on pourrait s'assurer que les distributions dans le data sont totalement équilibrées ou correspondent aux distributions dans le data démographique.

À ce stade, vous pourriez être tenté d'éliminer simplement les caractéristiques sensibles de votre dataset, mais il a été démontré que la suppression des attributs sensibles ne suffit pas nécessairement à rendre votre modèle équitable. Le modèle pourrait utiliser d'autres caractéristiques en corrélation avec la caractéristique sensible supprimée, reproduisant ainsi des biais historiques. Par exemple, une caractéristique A pourrait être fortement corrélée à l'âge d'un client, de sorte que si le data est biaisé en faveur d'une certaine tranche d'âge (un biais historique pourrait se traduire par une discrimination fondée sur l'âge lors de l'embauche, de la promotion, etc. En conservant la fonction sensible dans votre data, lorsque c'est nécessaire, vous pouvez avoir un meilleur contrôle sur les mesures et l'atténuation des préjugés et de l'équité.

Il existe un grand nombre de définitions et de mesures de l'équité. Nous pouvons diviser l'équité en équité individuelle et équité du groupe. L'équité individuelle donne des prévisions similaires à des individus similaires, tandis que l'équité de groupe traite les différents groupes de la même manière.

Pour assurer l'équité du groupe, nous voulons que la probabilité d'un résultat positif soit la même, que la personne soit ou non dans le groupe protégé (par ex, femelle) ou non.
Une mesure de groupe simple consiste à comparer le pourcentage de résultats favorables pour les groupes privilégiés et non privilégiés (dans notre exemple, le sexe, l'âge et le sexe de l'enfant). Homme qui sont “éligibles à un accord de prime” par rapport aux hommes et aux femmes. Femme qui sont “éligibles à une offre de prime”). Vous pouvez calculer cette comparaison comme une différence entre les deux pourcentages, ce qui conduit à l'équation suivante différence de parité statistique métrique (également appelée la parité démographique):

Pour qu'il n'y ait pas de différence dans les résultats favorables entre les groupes privilégiés et non privilégiés, la différence de parité statistique doit être égale à 0.
En ce qui concerne la métrique de l'équité individuelle, il y a la cohérence qui mesure le degré de similitude des étiquettes pour des individus similaires à l'aide d'un algorithme du plus proche voisin :

Nous ne nous attarderons pas sur ce sujet, mais le lecteur intéressé pourra consulter le site suivant article.
Vous pouvez utiliser la bibliothèque pratique AIF360 qui vous permet de calculer de nombreuses mesures d'équité.
Tout ce que vous avez à faire est d'envelopper votre dataframe dans le StandardDataset. AIF360 utilise un StandardDataset qui enveloppe un Pandas DataFrame avec de nombreux attributs et méthodes spécifiques au traitement et à la mesure des préjugés éthiques. Vous pouvez ensuite l'utiliser comme entrée de la fonction BinaryLabelDatasetMetric qui calculera un ensemble de mesures utiles.

Une fois mesurée sur la formation data de notre exemple de notation, nous observons une différence de parité statistique moyenne de -0,21, ce qui indique que le groupe privilégié Homme a obtenu 21% plus de résultats positifs dans l'ensemble de formation data.

Les méthodes qui ciblent les biais algorithmiques sont généralement divisées en trois catégories :

Nous avons utilisé une technique de prétraitement sur le data d'entraînement afin d'optimiser la différence de parité statistique. Nous avons appliqué le Re-pesage (plus de détails dans ce article) qui est mis en œuvre dans AIF360 afin de pondérer les exemples différemment dans chaque combinaison (groupe, étiquette) pour garantir l'équité avant la classification.

L'attribut "poids de l'instance" a été modifié afin de rééquilibrer la caractéristique sensible par rapport à la cible. Ce faisant, l'attribut Re-pesage a atténué le biais de groupe sur la formation data : une nouvelle mesure de la différence de parité statistique est complètement rééquilibrée de -0,21 à 0.

D'autres algorithmes d'atténuation des biais de prétraitement sont mis en œuvre dans AIF360, tels que l'algorithme Remise en état en cas d'impact défavorable qui est une technique qui modifie les valeurs des caractéristiques afin d'accroître l'équité au sein du groupe tout en préservant l'ordre de classement à l'intérieur des groupes (pour plus d'informations, voir la page suivante). article) ou LFR (Learning fair representation) qui est une technique de prétraitement permettant de trouver une représentation latente qui encode le data mais masque les informations sur les attributs protégés (plus d'informations dans les pages suivantes article).

Nous avons ensuite entraîné deux modèles de classification, l'un sur la data d'entraînement originale et l'autre sur la data repondérée. Nous observons que la repondération n'a eu qu'un faible impact sur la performance, perdant 1% de Score F1.

Nous avons également essayé un algorithme de traitement sur notre exemple de cas d'utilisation : débinage contradictoire qui a amélioré de manière significative les mesures de biais de groupe (la différence de parité statistique a été divisée par 2) avec une faible détérioration de la performance du modèle (environ 1% sur le score F1).

Il peut donc y avoir un compromis entre les mesures de performance et de biais. Dans le cas présent, la détérioration est assez faible, mais dans certaines situations, le compromis pourrait être plus important. Cette information doit être portée à la connaissance de l'équipe et des parties prenantes appropriées qui peuvent prendre des décisions sur la manière de traiter ce problème.

Maintenant que nous disposons de modèles entraînés, nous pouvons explorer leurs prédictions et rechercher un déséquilibre vers le résultat favorable entre les sexes. Il existe de nombreux outils tels que Outil de simulation ou Aequitas qui vous permettent de sonder le comportement des modèles d'apprentissage automatique formés et d'étudier les performances et l'équité des modèles dans les sous-groupes.

À titre d'illustration, vous pouvez utiliser Aequitas pour générer des tableaux croisés et des visualisations qui présentent diverses mesures de biais et de performance réparties entre les sous-groupes. Par exemple, nous pouvons rapidement comparer les taux de vrais positifs des classificateurs formés sur le data original et sur le data repondéré. Nous constatons que ce taux a été équilibré et qu'il permet donc une plus grande équité entre les sexes en ce qui concerne le résultat favorable du modèle, à savoir l'éligibilité à une offre de prime.

En tant que technique de post-traitement, nous avons agi sur le seuil de classification. Un modèle de classification nous fournit généralement les probabilités associées à la réalisation de chaque classe en tant que prédiction. Cette probabilité peut être utilisée telle quelle ou convertie en valeur binaire.
Afin d'identifier la classe correspondant aux probabilités obtenues, un seuil de classification (également appelé seuil de décision) doit être défini. Toute valeur supérieure à ce seuil correspondra à la catégorie positive “a droit à une prime” et vice versa pour les valeurs inférieures à ce seuil.
En traçant la métrique de performance et la métrique de biais (ici 1 - impact disparate) pour tous les seuils de classification, nous pouvons définir le seuil optimal. Cela nous aide à choisir le seuil approprié afin de maximiser les performances et de minimiser les biais.

Sur la figure de gauche, nous voyons que si nous poussons le seuil vers la gauche, réduisant ainsi légèrement les performances, nous pouvons améliorer la mesure du biais.
En outre, comme prévu, nous observons une nette amélioration des mesures de biais de groupe sur le modèle repondéré (figure de droite), qui pourrait être encore améliorée en choisissant un autre seuil de classification, mais au détriment de la performance.

Un autre pilier essentiel pour construire des modèles d'apprentissage automatique dignes de confiance est l'explicabilité. L'explicabilité est la capacité à expliquer à la fois les processus techniques du système d'IA et le raisonnement qui sous-tend les décisions ou les prédictions du système d'IA, ce qui permet de quantifier l'influence de chaque caractéristique/attribut sur les prédictions. Une bonne pratique consiste à utiliser autant que possible des modèles facilement interprétables plutôt que des modèles de boîte noire.

Il existe de nombreuses méthodes pour obtenir l'explicabilité des modèles. Ces méthodes peuvent être regroupées en deux catégories :

Nous appliquerons ici une célèbre méthode post-hoc, à savoir SHAP (SHapley Additive exPlanations). Pour plus d'informations, nous vous recommandons d'explorer le site suivant cette ressource très complète sur le sujet. Shap est une bibliothèque qui met en œuvre une approche théorique des jeux pour expliquer les résultats de n'importe quel modèle d'apprentissage automatique.
Observons l'impact de l'algorithme de repondération sur l'explicabilité du modèle :

Petit rappel sur la lecture de Shap's essaim d'abeilles parcelles :

A gauche, nous avons l'explicabilité du modèle original où nous observons que dans ce cas la variable du genre a un très fort pouvoir prédictif et que la variable du genre a un très fort pouvoir prédictif et que la variable du genre a un très fort pouvoir prédictif. Femme a un impact qui influence la décision vers l'objectif “non éligible à une offre de prime” avec un écart important en ce qui concerne le sexe. Homme.

Nous pouvons voir sur le graphique de droite, dans ce cas où le modèle a été entraîné sur le data repondéré, que l'importance de la caractéristique du sexe a fortement diminué. Elle fait maintenant partie des caractéristiques les moins importantes. De plus, l'influence de la classe féminine par rapport à la classe masculine sur la prédiction de la cible est beaucoup plus équilibrée (les couleurs sont proches de 0 dans la valeur de Shapley).

Un autre aspect essentiel du processus de création d'algorithmes d'apprentissage automatique dignes de confiance est la traçabilité des résultats et la bonne reproductibilité des expériences. Cela permet d'identifier facilement quelle version d'un modèle a été mise en production, de sorte qu'elle puisse être auditée si son comportement cause des dommages et n'est plus conforme aux valeurs éthiques de l'entreprise.

Pour ce faire, il faut être en mesure de suivre et d'enregistrer chaque version de modèle et les data, hyperparamètres et résultats d'entraînement qui lui sont associés. Plusieurs outils permettent d'accomplir cette tâche : Mlflow est une excellente option qui vous permet de générer rapidement une interface web qui centralise toutes les exécutions, tout en sauvegardant vos artefacts dans le stockage de votre choix. Chaque version de l'expérience peut être suivie avec le hash du commit associé. Chacune de ces versions contiendra tous les éléments enregistrés par MLflow.

Voici un outil que nous avons mis en open source à Artefact et qui vous permet de déployer un MLflow sécurisé sur un projet GCP avec une seule commande.

Il est également conseillé de créer un Fiche d'information pour chaque modèle, ce qui correspond à une carte d'identité du modèle qui résume divers éléments retraçant les étapes de prétraitement, les mesures de performance, les mesures de biais, etc.

Ces cartes d'identité sont remises par les scientifiques de data aux équipes chargées de l'exploitation du modèle, ce qui leur permet de déterminer si le modèle est adapté à leur situation. Pour plus de détails sur la méthodologie de création d'une fiche d'information, nous vous recommandons de consulter le site suivant article. La FactSheet peut également être stockée, sous forme de tableau par exemple, dans MLFlow avec le modèle associé.

Une fois votre modèle déployé, vous devez vous assurer qu'il est utilisé dans le but pour lequel il a été pensé, conçu et construit. Il y a biais de déploiement lorsqu'il y a inadéquation entre le problème qu'un modèle est censé résoudre et la manière dont il est réellement utilisé. Cela se produit fréquemment lorsqu'un système est développé et évalué comme s'il était totalement autonome, alors qu'en réalité il fait partie d'un système socio-technique complexe régi par un grand nombre de décideurs.

Les data de production peuvent dériver au fil du temps, ce qui peut entraîner une dégradation des performances de l'algorithme susceptible d'injecter des biais. Le suivi de la qualité et de la dérive des data de production en surveillant les distributions des nouvelles data par rapport aux data utilisées pour former les modèles devrait constituer une étape dans le pipeline de production afin de déclencher les alertes appropriées en cas de besoin et de définir le moment où le recyclage est obligatoire.

Le pipeline de production doit être conçu de manière à ce qu'il y ait un moyen de désactiver le modèle actuel ou de revenir à une version antérieure.

Dans cet article, nous avons présenté quelques bonnes pratiques et protocoles pour vous guider dans la construction de pipelines d'apprentissage automatique qui minimisent le risque de tomber dans des pièges éthiques.

Cet article n'a fait qu'effleurer la surface du vaste sujet qu'est l'IA éthique et n'a fait qu'effleurer quelques-uns des aspects de l'IA éthique. des outils intéressants en cours d'élaboration et qui sont désormais disponibles.
Comme nous l'avons vu, la manière la plus logique d'aborder explicitement les problèmes d'équité est de déclarer un ensemble de caractéristiques sélectionnées comme potentiellement discriminatoires et d'étudier ensuite les préjugés éthiques à travers ce prisme. Cette technique simple présente toutefois un défaut : la discrimination peut être le résultat d'une combinaison de caractéristiques qui ne sont pas discriminatoires en elles-mêmes. En outre, dans de nombreux cas, vous n'aurez accès à aucune caractéristique sensible (plus d'informations à ce sujet ici).
L'évaluation de l'équité est une tâche complexe qui dépend de la nature du problème. Aborder un problème de notation sur la base d'un tableau data ne sera pas la même chose qu'aborder un problème de notation sur la base d'un tableau data. atténuer les biais dans le traitement du langage naturel.

Nous espérons que le partage de notre perspective et de nos méthodologies vous inspirera dans vos propres projets ! Merci pour votre lecture, n'hésitez pas à suivre le Artefact tech blog si vous souhaitez être informé de la parution de notre prochain article !