{"id":61815,"date":"2021-07-27T16:15:44","date_gmt":"2021-07-27T15:15:44","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=news&p=61815"},"modified":"2024-09-20T17:45:46","modified_gmt":"2024-09-20T16:45:46","slug":"including-ethics-best-practices-in-your-data-science-project-from-day-one","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/nl\/blog\/including-ethics-best-practices-in-your-data-science-project-from-day-one\/","title":{"rendered":"Beste praktijken voor ethiek vanaf de eerste dag opnemen in uw Data wetenschapsproject"},"content":{"rendered":"

Auteur<\/h2><\/div>\"Image\"

Karim Si Larbi<\/h3><\/div>

Senior Data Wetenschapper bij Artefact<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Hier volgen enkele richtlijnen om betrouwbare oplossingen voor machinaal leren te bouwen zonder in ethische valkuilen te trappen.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Lees ons artikel over<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Inleiding<\/h2><\/div>

Het gebruik van machinaal leren als middel om beslissingen te nemen is nu alomtegenwoordig geworden. Veel van de resultaten van diensten die we dagelijks gebruiken zijn het resultaat van een beslissing die door machine learning is genomen. Als gevolg hiervan zien we een geleidelijke afname van menselijke tussenkomst op gebieden die elk aspect van ons dagelijks leven be\u00efnvloeden en waar elke fout in het oordeel van het algoritmische model nadelige gevolgen kan hebben. Het is daarom essentieel om goede richtlijnen op te stellen om betrouwbare en verantwoordelijke oplossingen voor machinaal leren te bouwen, waarbij ethiek een belangrijke pijler is.<\/p>\n<\/div>

In de afgelopen jaren heeft ethiek in machinaal leren een aanzienlijke stijging in academisch onderzoek gezien, met grote conferenties zoals\u00a0FACCT<\/a>\u00a0en\u00a0AIES<\/a>, maar ook in grote techbedrijven die snelgroeiende teams samenstellen om de ethische uitdagingen aan te gaan.<\/p>\n<\/div>

Ethische AI is een breed onderwerp dat veel onderwerpen omvat, zoals privacy, data governance, maatschappelijk en ecologisch welzijn, algoritmische verantwoordingsplicht, enz. In dit artikel zullen we ons voornamelijk richten op de volgende componenten van ethiek in machinaal leren:\u00a0eerlijkheid, verklaarbaarheid en traceerbaarheid<\/strong>. We zullen eerst bespreken wat er op het spel staat en waarom aandacht voor ethiek verplicht is, daarna zullen we onderzoeken hoe u uw machine-learningproject kunt opzetten en ontwikkelen met ethiek in gedachten en hoe u ethiek kunt opvolgen zodra het in productie is genomen.<\/p>\n<\/div>

Waarom we aandacht moeten besteden aan ethiek<\/h2><\/div>

Nu algoritmen voor machinaal leren en de reeks abstracties en hypothesen die eraan ten grondslag liggen steeds complexer worden, is het een uitdaging geworden om alle mogelijke gevolgen van het hele systeem volledig te begrijpen.
\nEr zijn verschillende spraakmakende voorbeelden uit de echte wereld van oneerlijke algoritmen voor machinaal leren die leiden tot suboptimale en discriminerende resultaten. Waaronder het bekende voorbeeld van COMPAS. COMPAS was een veelgebruikt commercieel softwareprogramma dat het risico meet dat iemand opnieuw een misdaad begaat, dat werd vergeleken met een normaal menselijk oordeel in een\u00a0studeren<\/a>\u00a0en werd later bevooroordeeld ten opzichte van Afro-Amerikanen: COMPAS kende vaker een hogere risicoscore toe aan Afro-Amerikaanse overtreders dan aan blanken met hetzelfde profiel.<\/p>\n<\/div>

Op het gebied van NLP werd gender biais gedetecteerd in vroege versies van Google Translate dat in 2018 en recenter werd aangepakt.<\/p>\n

Op het gebied van krediettoewijzing werd Goldman Sachs onderzocht voor het gebruik van een AI-algoritme dat naar verluidt women discrimineerde door mannen grotere kredietlimieten toe te kennen dan women op hun Apple-kaarten.<\/p>\n

Op het gebied van gezondheidszorg heeft een algoritme voor risicovoorspelling, dat gebruikt werd op meer dan 200 miljoen mensen in de VS, raciale vooroordelen aangetoond.<\/p>\n<\/div>

Zonder een duidelijk gedefinieerd kader voor het analyseren, identificeren en beperken van vooroordelen, is het risico om in ethische valkuilen te trappen vrij groot. Het wordt dus steeds belangrijker om goede richtlijnen op te stellen om modellen te bouwen die resultaten produceren die gepast en eerlijk zijn, vooral in domeinen waar mensen bij betrokken zijn. Het bouwen van betrouwbare AI geeft eindgebruikers een veilig gevoel wanneer ze het gebruiken, en het stelt bedrijven in staat om meer controle uit te oefenen over het gebruik ervan om de effici\u00ebntie te verhogen en tegelijkertijd schade te voorkomen.\u00a0Om ervoor te zorgen dat uw AI betrouwbaar is, moet u eigenlijk al ethisch gaan denken voordat u data verwerkt en algoritmen ontwikkelt.<\/strong><\/p>\n<\/div>

Hoe u al v\u00f3\u00f3r de start van uw project aan ethiek kunt denken<\/h2><\/div>

Ethiek moet vanaf het begin van een nieuw project in overweging worden genomen, vooral in de fase waarin het probleem wordt gedefinieerd. U moet de beoogde eindgebruikers en het doel van de voorgestelde oplossing in gedachten houden om het juiste kader voor analyse en risicobeheer op te stellen om de directe of indirecte schade te identificeren die door de oplossing kan worden veroorzaakt.<\/strong>\u00a0U moet zich afvragen of mijn oplossing in deze omstandigheden kan leiden tot beslissingen die in het voordeel zijn van een bepaalde subgroep eindgebruikers.<\/p>\n<\/div>

Het is dus van cruciaal belang om KPI's op te stellen om de effectiviteit van uw risicomanagementstrategie te volgen. Een robuust kader kan, indien mogelijk, ook ethische risicobeperkingsmechanismen bevatten.
\nAls u te maken hebt met een gevoelig onderwerp met een hoog risicopotentieel, is het nodig om meer tijd uit te trekken voor de verkennings- en opbouwfase om een grondige ethische beoordelingsanalyse te kunnen uitvoeren.\u00a0beperking van vertekeningen<\/strong>\u00a0strategie\u00ebn.<\/p>\n<\/div>

U moet ook mechanismen instellen die het voor het AI-systeem gemakkelijker maken om\u00a0controleerbaarheid<\/strong>\u00a0en\u00a0 reproduceerbaarheid <\/strong>. Er moet een logische trace beschikbaar zijn voor inspectie, zodat eventuele problemen kunnen worden bekeken of verder onderzocht. Dit wordt gedaan door een goed niveau van\u00a0traceerbaarheid<\/strong>\u00a0door documentatie, registratie, tracering en versiebeheer.<\/p>\n

Elke data bron en data transformatie moet ook gedocumenteerd worden om de keuzes die gemaakt zijn om de data te verwerken transparant en traceerbaar te maken. Dit maakt het mogelijk om de stappen te lokaliseren die mogelijk een bias hebben ge\u00efnjecteerd of versterkt.<\/p>\n<\/div>

Hoe ethiek mee te nemen in de ontwikkeling van uw data project<\/h2><\/div>

Om ethiek op te nemen bij het ontwikkelen van uw data project, is het belangrijk om ten minste drie componenten op te nemen: eerlijkheid, uitlegbaarheid en traceerbaarheid.<\/p>\n<\/div>

Eerlijkheid<\/h3><\/div>

De eerste stap in de meeste projecten voor machinaal leren is meestal het verzamelen van data. Of u nu het data-verzamelproces doorloopt of een bestaande dataset gebruikt, kennis over hoe de verzameling is uitgevoerd is cruciaal. Meestal is het niet haalbaar om de hele doelpopulatie te omvatten, dus kenmerken en labels kunnen worden bemonsterd uit een subset, gefilterd op bepaalde criteria of geaggregeerd. Al deze stappen kunnen statistische vertekening introduceren die ethische gevolgen kan hebben.<\/p>\n<\/div>

Vooringenomenheid bij vertegenwoordiging<\/h3><\/div>

ontstaat door de manier waarop we een populatie defini\u00ebren en bemonsteren. Het gebrek aan geografische diversiteit in datasets zoals ImageNet heeft bijvoorbeeld een vertekening naar Westerse landen aangetoond. Als gevolg van\u00a0steekproefbias<\/strong>, De trends die voor \u00e9\u00e9n populatie zijn geschat, zijn mogelijk niet algemeen toepasbaar op data die van een nieuwe populatie is verzameld.<\/p>\n<\/div>

<\/span><\/div>

Daarom moeten er geschikte data-afnameprotocollen worden gedefinieerd en moet de diversiteit van de ontvangen data worden geanalyseerd en moeten eventuele lacunes of risico's aan het team worden gerapporteerd. U moet data zo objectief mogelijk verzamelen. Bijvoorbeeld door er door middel van statistische analyse voor te zorgen dat de steekproef representatief is voor de populatie of groep die u bestudeert en door zoveel mogelijk input uit meerdere bronnen te combineren om de diversiteit van de data te waarborgen.
\nHet documenteren van de bevindingen en het hele data verzamelproces is verplicht.<\/p>\n<\/div>

Er zijn in feite veel mogelijke bronnen van vooringenomenheid die in vele vormen kunnen bestaan, en waarvan sommige kunnen leiden tot oneerlijkheid in verschillende downstream leertaken.
\nAangezien de kern van gesuperviseerde algoritmen voor machinaal leren de training data is, kunnen modellen hun gedrag leren van data die kan lijden onder de opname van onbedoelde historische of statistische vooroordelen.\u00a0Historisch vooroordeel<\/strong>\u00a0kunnen in het data generatieproces doorsijpelen, zelfs bij een perfecte steekproef en selectie van kenmerken. Het voortbestaan van deze vooroordelen kan leiden tot onbedoelde discriminatie van bepaalde groepen of individuen, wat vooroordelen en marginalisatie kan verergeren.<\/p>\n<\/div>

Niet alle bronnen van vertekening zijn geworteld in data, de volledige pijplijn van machinaal leren omvat een reeks keuzes en praktijken onderweg, van data pre-processing tot modelimplementatie.
\nHet is niet eenvoudig om vanaf het begin vast te stellen of en hoe problemen kunnen ontstaan. Er is een grondige analyse nodig om eventuele problemen op te sporen. Afhankelijk van de use case, het type data en het doel van de taak, zijn verschillende methoden van toepassing.
\nIn dit gedeelte zullen we een aantal technieken verkennen om ethische bias te identificeren en te beperken aan de hand van een illustratieve use case. We zullen eerst het probleem uiteenzetten, daarna zullen we zien hoe we bias kunnen meten en tot slot zullen we enkele technieken gebruiken om bias te verminderen tijdens pre-processing, in-processing en post-processing.<\/p>\n<\/div>

Probleemstelling<\/h4><\/div>

Stel dat u in de banksector een scoringsalgoritme aan het bouwen bent om de targeting van klanten die wel of niet in aanmerking komen voor een premium deal te automatiseren. U krijgt een historische dataset die veel kenmerken bevat over uw zinvolle data over uw klanten, evenals het binaire doel \u201cdie in aanmerking komen voor een premium deal\u201d. Elementen van PII (persoonlijk identificeerbare informatie) zijn eerder verwijderd uit de dataset, zodat er geen privacykwesties op het spel staan (wat dit betreft is de google cloud data loss prevention service een geweldig hulpmiddel om de taak van het de-identificeren van uw gevoelige data uit te voeren).
\nDeze use case lijkt misschien wat fictief, maar het probleem ligt dicht bij een echte use case die we in het verleden in een andere sector hebben behandeld.<\/p>\n<\/div>

Vertekening meten<\/h4><\/div>

De eerste stap van de analyse is het verkennen van de data om gevoelige kenmerken, bevoorrechte waarde en het gunstige label te identificeren.<\/p>\n

Gevoelige functies\u00a0<\/strong>(of soms\u00a0beschermde kenmerken<\/strong>) zijn kenmerken die een populatie onderverdelen in groepen die pariteit zouden moeten hebben in termen van ontvangen voordelen. Deze kenmerken kunnen discriminerend zijn voor bepaalde subgroepen. Bijvoorbeeld: geslacht, geslacht, leeftijd, gezinssituatie, sociaaleconomische classificatie, burgerlijke staat, enz. en alle daarvan afgeleide proxy data (bijv. geografische locatie of factuurbedragen kunnen als proxy voor sociaaleconomische classificatie fungeren omdat in sommige situaties is waargenomen dat ze sterk gecorreleerd kunnen zijn) zijn gevoelige kenmerken.<\/p>\n

A geprivilegieerde waarde<\/strong>\u00a0van een gevoelig kenmerk duidt op een groep die historisch gezien een systematisch voordeel heeft gehad.<\/p>\n<\/div>

A gunstig label<\/strong>\u00a0Tijdens de voorbereidingsfase van de data kunnen stappen zoals het splitsen van de data, undersampling of oversampling, het omgaan met ontbrekende waarden en uitschieters voor vertekening zorgen als ze niet zorgvuldig worden uitgevoerd. De proporties ontbrekende waarden of uitschieters bij subgroepen op gevoelige kenmerken kan een eerste stap zijn bij het identificeren van vertekening. Sommige imputatiestrategie\u00ebn kunnen statistische vertekening introduceren, bijvoorbeeld de imputatie van de ontbrekende waarden van het kenmerk leeftijd van de klant door de mediaan ervan.<\/p>\n

In ons scorevoorbeeld hebben we de grafiek getekend van hoe de training data is verdeeld over de geslachten met betrekking tot het doel \u201cin aanmerking komen voor een premiedeal\u201d:<\/p>\n<\/div>

<\/span><\/div>

We kunnen zien dat de verdeling van het doel onevenwichtig is in het voordeel van het geslacht\u00a0Mannelijk<\/em>. Laten we aannemen dat de privilegewaarde\u00a0Mannelijk<\/em>\u00a0waarbij\u00a0geslacht<\/em> is een gevoelig kenmerk en het gunstige label is \u201cin aanmerking komend voor een premium deal\u201d. Bovendien kan dit overeenkomen met een vertekening van de vertegenwoordiging in de data. In feite zou men, in een geval waarin de billijkheid gerespecteerd wordt, ervoor kunnen zorgen dat de verdelingen in de data volledig in evenwicht zijn of overeenkomen met de verdelingen in de demografische data.<\/p>\n

Op dit punt zou u in de verleiding kunnen komen om gewoon de gevoelige kenmerken uit uw dataset te verwijderen, maar er is aangetoond dat het verwijderen van gevoelige kenmerken niet noodzakelijkerwijs voldoende is om uw model eerlijk te maken. Het model zou andere kenmerken kunnen gebruiken die correleren met het verwijderde gevoelige kenmerk, waardoor historische vertekeningen worden gereproduceerd. Om een voorbeeld te geven: kenmerk A kan sterk gecorreleerd zijn aan de leeftijd van een cli\u00ebnt, dus als de data bevooroordeeld is ten opzichte van een bepaalde leeftijdsgroep (historische vooringenomenheid kan leiden tot discriminatie op basis van leeftijd bij aanname, promotie etc.), zal deze vooringenomenheid gecodeerd zijn in kenmerk A en zal het verwijderen van de leeftijd van een cli\u00ebnt het probleem niet verminderen. Door de gevoelige functie in uw data te houden, wanneer dat nodig is, hebt u meer controle over het meten en beperken van vooroordelen en eerlijkheid.<\/p>\n<\/div>

Biasgegevens<\/h4><\/div>

Er zijn verschillende definities van eerlijkheid en eerlijkheidsmetriek. We kunnen eerlijkheid onderverdelen in\u00a0individuele eerlijkheid<\/strong>\u00a0en\u00a0groepsrechtvaardigheid<\/strong>. Individuele eerlijkheid geeft gelijksoortige voorspellingen aan gelijksoortige individuen, terwijl groepsrechtvaardigheid verschillende groepen gelijk behandelt.<\/p>\n

Om groepsrechtvaardigheid te bereiken, willen we dat de waarschijnlijkheid van een positieve uitkomst hetzelfde is, ongeacht of de persoon in de beschermde groep zit (bijv,\u00a0vrouw<\/em>) groep of niet.
\nEen eenvoudige groepsmeting is het vergelijken van het percentage gunstige uitkomsten voor de bevoorrechte en niet-bevoorrechte groepen (in ons voorbeeld het geslacht\u00a0Mannelijk<\/em>\u00a0die \u201cin aanmerking komen voor een premiedeal\u201d in vergelijking met het geslacht\u00a0Vrouw<\/em>\u00a0die \u201cin aanmerking komen voor een premiedeal\u201d). U kunt deze vergelijking berekenen als een verschil tussen de twee percentages, wat leidt tot de formule\u00a0statistisch pariteitsverschil<\/strong>\u00a0metriek (ook wel\u00a0demografische pariteit<\/strong>):<\/p>\n<\/div>

<\/span><\/div>

Opdat er geen verschil zou zijn in gunstige resultaten tussen bevoorrechte en niet-bevoorrechte groepen, moet het statistische pariteitsverschil gelijk zijn aan 0.
\nOver het onderwerp van individuele eerlijkheidsmetriek is er de\u00a0consistentie<\/strong>\u00a0die de mate van gelijkenis van labels voor gelijksoortige individuen meet met behulp van een nearest neighbor-algoritme:<\/p>\n<\/div>

<\/span><\/div>

We zullen ons niet op dit onderwerp richten, maar de ge\u00efnteresseerde lezer zou dit kunnen controleren\u00a0artikel<\/a>.
\nU kunt de handige bibliotheek\u00a0AIF360<\/a>\u00a0waarmee u vele eerlijkheidsmetriek kunt berekenen.
\nHet enige wat u hoeft te doen is uw dataframe in het\u00a0StandaardDataset<\/em>. AIF360 gebruikt een\u00a0StandaardDataset<\/em>\u00a0dat een Pandas DataFrame omhult met vele attributen en methoden die specifiek zijn voor het verwerken en meten van ethische vertekeningen. U kunt dit dan gebruiken als invoer voor de\u00a0BinairLabelDatasetMetric<\/em> klasse die een set nuttige statistieken zal berekenen.<\/p>\n<\/div>

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
params_aif<\/span> =<\/span> <\/td>\n<\/tr>\n
<\/td>\n<\/td>\n<\/tr>\n
<\/td>\n# maak aif360 standaardDatasets<\/span><\/td>\n<\/tr>\n
<\/td>\ntrein_standaard_dataset<\/span> =<\/span> StandaardDataset<\/span>(df<\/span>=<\/span>trein_dataframe<\/span>,<\/td>\n<\/tr>\n
<\/td>\n**<\/span>params_aif<\/span>)<\/td>\n<\/tr>\n
<\/td>\n<\/td>\n<\/tr>\n
<\/td>\nbevoorrechte_groepen<\/span> =<\/span> []<\/td>\n<\/tr>\n
<\/td>\nongeprivilegieerde_groepen<\/span> =<\/span> []<\/td>\n<\/tr>\n
<\/td>\n<\/td>\n<\/tr>\n
<\/td>\ntrein_bldm<\/span> =<\/span> BinairLabelDatasetMetric<\/span>(trein_standaard_dataset<\/span>,<\/td>\n<\/tr>\n
<\/td>\nongeprivilegieerde_groepen<\/span>=<\/span>ongeprivilegieerde_groepen<\/span>,<\/td>\n<\/tr>\n
<\/td>\nbevoorrechte_groepen<\/span>=<\/span>bevoorrechte_groepen<\/span>)<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>

Eenmaal gemeten op de training data van ons scorevoorbeeld, zien we een gemiddeld statistisch pariteitsverschil van -0,21, wat aangeeft dat de bevoorrechte groep\u00a0Mannelijk<\/em>\u00a0had 21% meer positieve resultaten in de trainingsset data.<\/p>\n<\/div>

Beperking van vertekeningen<\/h4><\/div>

Methoden die gericht zijn op algoritmische vertekeningen worden gewoonlijk in drie categorie\u00ebn onderverdeeld:<\/p>\n<\/div>