Integrieren Sie vom ersten Tag an bewährte ethische Praktiken in Ihr wissenschaftliches Projekt Data

Der Einsatz von maschinellem Lernen als Mittel zur Entscheidungsfindung ist mittlerweile allgegenwärtig. Viele der Ergebnisse von Diensten, die wir täglich nutzen, sind das Ergebnis einer Entscheidung, die durch maschinelles Lernen getroffen wurde. Infolgedessen werden menschliche Eingriffe in Bereichen, die jeden Aspekt unseres täglichen Lebens betreffen und in denen jeder Fehler im Urteil des algorithmischen Modells negative Auswirkungen haben könnte, allmählich reduziert. Es ist daher unerlässlich, angemessene Richtlinien festzulegen, um vertrauenswürdige und verantwortungsvolle Lösungen für das maschinelle Lernen zu entwickeln und dabei die Ethik als Grundpfeiler zu berücksichtigen.

In den letzten Jahren hat die Ethik im Bereich des maschinellen Lernens einen bedeutenden Anstieg der akademischen Forschung erlebt, mit großen Konferenzen wie FACCT und AIES, sowie in großen Technologieunternehmen, die schnell wachsende Teams zusammenstellen, um die ethischen Herausforderungen zu meistern.

Ethische KI ist ein weites Feld, das viele Themen wie Datenschutz, data governance, gesellschaftliches und ökologisches Wohlergehen, algorithmische Verantwortlichkeit usw. umfasst. In diesem Artikel werden wir uns hauptsächlich auf die folgenden Komponenten der Ethik beim maschinellen Lernen konzentrieren: Fairness, Erklärbarkeit und Nachvollziehbarkeit. Wir werden zunächst erörtern, was auf dem Spiel steht und warum es unerlässlich ist, auf Ethik zu achten. Dann werden wir untersuchen, wie Sie Ihr maschinelles Lernprojekt unter Berücksichtigung der Ethik konzipieren und entwickeln und wie Sie die Ethik nach dem Einsatz in der Produktion weiterverfolgen können.

Da die Algorithmen des maschinellen Lernens und die ihnen zugrunde liegenden Abstraktionen und Hypothesen immer komplexer werden, ist es schwierig geworden, alle möglichen Konsequenzen des gesamten Systems vollständig zu erfassen und zu verstehen.
Es gibt mehrere bekannte Beispiele aus der Praxis, in denen unfaire Algorithmen für maschinelles Lernen zu suboptimalen und diskriminierenden Ergebnissen führen. Darunter das bekannte Beispiel von COMPAS. COMPAS war eine weit verbreitete kommerzielle Software, die das Risiko einer Person misst, ein weiteres Verbrechen zu begehen, und die mit dem normalen menschlichen Urteilsvermögen in einem Studie und wurde später als voreingenommen gegenüber Afro-Amerikanern entdeckt: COMPAS wies afro-amerikanischen Straftätern mit größerer Wahrscheinlichkeit einen höheren Risikowert zu als weißen Straftätern mit demselben Profil.

Im Bereich NLP wurde in frühen Versionen von Google Translate ein Gender Biais entdeckt, das 2018 und in jüngerer Zeit behoben wurde.

Im Bereich der Kreditvergabe wurde gegen Goldman Sachs ermittelt, weil sie einen KI-Algorithmus einsetzten, der angeblich women diskriminierte, indem er Männern größere Kreditlimits auf ihren Apple-Karten gewährte als women.

Im Bereich des Gesundheitswesens hat ein Algorithmus zur Risikovorhersage, der bei mehr als 200 Millionen Menschen in den USA eingesetzt wurde, rassistische Verzerrungen gezeigt.

Ohne einen klar definierten Rahmen für die Analyse, Identifizierung und Milderung von Verzerrungen ist das Risiko, in ethische Fallen zu tappen, ziemlich hoch. Es wird daher immer wichtiger, angemessene Richtlinien festzulegen, um Modelle zu entwickeln, die angemessene und faire Ergebnisse liefern, insbesondere in Bereichen, in denen Menschen involviert sind. Die Entwicklung vertrauenswürdiger KI gibt den Endnutzern ein sicheres Gefühl, wenn sie sie verwenden, und ermöglicht es Unternehmen, mehr Kontrolle über ihre Verwendung auszuüben, um die Effizienz zu steigern und gleichzeitig Schaden zu vermeiden. Damit Ihre KI vertrauenswürdig ist, müssen Sie eigentlich schon vor der Verarbeitung von data und der Entwicklung von Algorithmen anfangen, an Ethik zu denken.

Die Ethik muss von Beginn eines neuen Projekts an berücksichtigt werden, insbesondere in der Phase der Problemstellung. Sie sollten sowohl die anvisierten Endnutzer als auch das Ziel der vorgeschlagenen Lösung im Auge haben, um den richtigen Rahmen für die Analyse und das Risikomanagement zu schaffen, um die direkten oder indirekten Schäden zu identifizieren, die durch die Lösung verursacht werden könnten. Sie sollten sich fragen, ob meine Lösung unter diesen Bedingungen zu Entscheidungen führen könnte, die eine bestimmte Untergruppe von Endnutzern begünstigen?

Es ist daher von entscheidender Bedeutung, KPIs zu entwickeln, um die Methoden zu verfolgen, die die Wirksamkeit Ihrer Risikomanagementstrategie gewährleisten. Ein solides Rahmenwerk könnte auch, wenn möglich, ethische Risikominderungsmechanismen einbeziehen.
Wenn es sich um ein sensibles Thema handelt, das ein hohes Risikopotenzial birgt, ist es notwendig, die für die Explorations- und Aufbauphase vorgesehene Zeit zu verlängern, um eine gründliche Analyse der ethischen Bewertung und Abschwächung von Vorurteilen Strategien.

Sie müssen auch Mechanismen einrichten, die dem KI-System die Prüfbarkeit und  Reproduzierbarkeit . Eine Logikspur muss zur Inspektion verfügbar sein, damit alle Probleme überprüft oder weiter untersucht werden können. Dies geschieht durch die Durchsetzung eines guten Niveaus an Rückverfolgbarkeit durch Dokumentation, Protokollierung, Nachverfolgung und Versionierung.

Jede data-Quelle und jede data-Umwandlung muss ebenfalls dokumentiert werden, um die bei der Verarbeitung des data getroffenen Entscheidungen transparent und nachvollziehbar zu machen. Auf diese Weise lassen sich die Schritte ermitteln, die möglicherweise eine Verzerrung verursacht oder verstärkt haben.

Um Ethik in die Entwicklung Ihres data-Projekts einzubeziehen, ist es wichtig, mindestens drei Komponenten zu berücksichtigen: Fairness, Erklärbarkeit und Nachvollziehbarkeit.

Der erste Schritt bei den meisten Projekten zum maschinellen Lernen ist in der Regel die data-Sammlung. Unabhängig davon, ob Sie den Prozess der data-Sammlung durchlaufen oder ein bestehendes data-Set verwenden, ist das Wissen darüber, wie die Sammlung durchgeführt wurde, entscheidend. In der Regel ist es nicht möglich, die gesamte Zielpopulation zu erfassen, so dass Merkmale und Bezeichnungen aus einer Teilmenge entnommen, nach bestimmten Kriterien gefiltert oder aggregiert werden können. All diese Schritte können zu statistischen Verzerrungen führen, die ethische Konsequenzen haben können.

ergibt sich aus der Art und Weise, wie wir eine Population definieren und beproben. Zum Beispiel hat der Mangel an geografischer Vielfalt in data-Sets wie ImageNet eine Voreingenommenheit gegenüber westlichen Ländern gezeigt. Als Ergebnis von Stichprobenverzerrung, Die für eine Population geschätzten Trends lassen sich möglicherweise nicht auf data aus einer neuen Population übertragen.

Daher ist es notwendig, geeignete data-Sammelprotokolle zu definieren und die Vielfalt der erhaltenen data zu analysieren und dem Team alle festgestellten Lücken oder Risiken zu melden. Sie müssen data so objektiv wie möglich erheben. Zum Beispiel, indem Sie durch eine statistische Analyse sicherstellen, dass die Stichprobe repräsentativ für die von Ihnen untersuchte Population oder Gruppe ist, und indem Sie so weit wie möglich Daten aus verschiedenen Quellen kombinieren, um die Vielfalt der data zu gewährleisten.
Die Dokumentation der Ergebnisse und des gesamten data-Erfassungsprozesses ist obligatorisch.

Es gibt in der Tat viele mögliche Quellen für Voreingenommenheit, die in vielen Formen existieren können, von denen einige zu Unfairness bei verschiedenen nachgelagerten Lernaufgaben führen können.
Da das Herzstück überwachter Algorithmen für maschinelles Lernen das Training data ist, können Modelle ihr Verhalten aus data lernen, das unter der Einbeziehung unbeabsichtigter historischer oder statistischer Verzerrungen leiden kann. Historische Voreingenommenheit können in den data-Generierungsprozess eindringen, selbst wenn die Stichproben und die Auswahl der Merkmale perfekt sind. Das Fortbestehen dieser Verzerrungen könnte zu einer unbeabsichtigten Diskriminierung bestimmter Gruppen oder Einzelpersonen führen, was Vorurteile und Ausgrenzung noch verstärken kann.

Nicht alle Ursachen für Verzerrungen sind in data zu suchen. Die gesamte Pipeline des maschinellen Lernens umfasst eine Reihe von Entscheidungen und Praktiken, von der data-Vorverarbeitung bis zum Einsatz der Modelle.
Es ist nicht einfach, von Anfang an zu erkennen, ob und wie Probleme entstehen könnten. Eine gründliche Analyse ist erforderlich, um aufkommende Probleme zu erkennen. Je nach Anwendungsfall, der Art des data und dem Ziel der Aufgabe kommen unterschiedliche Methoden zur Anwendung.
In diesem Abschnitt werden wir anhand eines anschaulichen Anwendungsfalls einige Techniken zur Identifizierung und Milderung von ethischen Verzerrungen untersuchen. Wir erläutern zunächst das Problem, dann sehen wir uns an, wie man Verzerrungen messen kann, und schließlich wenden wir einige Techniken an, um Verzerrungen bei der Vorverarbeitung, bei der Verarbeitung und bei der Nachverarbeitung abzuschwächen.

Nehmen wir an, Sie entwickeln einen Scoring-Algorithmus im Bankensektor, um die targeting von Kunden zu automatisieren, die von einem Premium-Geschäft profitieren oder nicht. Sie erhalten ein historisches data-Set, das viele aussagekräftige data-Merkmale über Ihre Kunden sowie das binäre Ziel “geeignet für ein Premium-Geschäft” enthält. PII-Elemente (personenbezogene Daten) wurden zuvor aus dem dataset entfernt, so dass es keine Probleme mit dem Datenschutz gibt (in diesem Zusammenhang ist der Google cloud data Loss Prevention Service ein großartiges Werkzeug, um die Aufgabe der De-Identifizierung Ihrer sensiblen data durchzuführen).
Dieser Anwendungsfall mag etwas fiktiv erscheinen, aber das Problem ist einem realen Anwendungsfall sehr ähnlich, mit dem wir uns in der Vergangenheit in einem anderen Sektor beschäftigt haben.

Der erste Schritt der Analyse besteht darin, die data zu untersuchen, um empfindliche Merkmale, den privilegierten Wert und das günstige Label zu identifizieren.

Empfindliche Merkmale (oder manchmal auch geschützte Attribute) sind Merkmale, die eine Bevölkerung in Gruppen aufteilen, die in Bezug auf den Leistungsbezug gleichberechtigt sein sollten. Diese Merkmale können ein diskriminierendes Potenzial gegenüber bestimmten Untergruppen haben. Zum Beispiel: Geschlecht, Geschlecht, Alter, Familienstand, sozioökonomische Einstufung, Familienstand usw. und alle daraus abgeleiteten Proxy-Merkmale data (z.B. geografischer Standort oder Rechnungsbeträge können als Proxy-Merkmale für die sozioökonomische Einstufung dienen, da in einigen Situationen beobachtet wurde, dass sie stark korreliert sein können) sind sensible Merkmale.

A privilegierter Wert eines sensiblen Merkmals bezeichnet eine Gruppe, die in der Vergangenheit einen systematischen Vorteil hatte.

A günstiges Etikett Während der Vorbereitungsphase des data können Schritte wie die Aufteilung des data, Unter- oder Überstichproben, der Umgang mit fehlenden Werten und Ausreißern zu Verzerrungen führen, wenn sie nicht sorgfältig durchgeführt werden. Der Anteil der fehlenden Werte oder Ausreißer in den Untergruppen bei sensiblen Merkmalen kann ein erster Schritt sein, um Verzerrungen zu erkennen. Einige Imputationsstrategien können zu statistischen Verzerrungen führen, z. B. die Imputation der fehlenden Werte für das Merkmal Alter des Kunden durch den Median.

In unserem Scoring-Beispiel haben wir eine Grafik erstellt, die zeigt, wie sich die Ausbildung data auf die Geschlechter verteilt, und zwar in Bezug auf die Zielvorgabe “förderfähig für ein Premiumgeschäft”:

Wir können sehen, dass die Verteilung des Ziels zugunsten des Geschlechts unausgewogen ist Männlich. Lassen Sie uns annehmen, dass der Privilegierungswert Männlich wobei Geschlecht ist ein sensibles Merkmal und das günstige Etikett ist “berechtigt für ein Premium-Geschäft”. Außerdem könnte dies zu einer Verzerrung der Darstellung im data führen. In einem Fall, in dem die Gleichheit respektiert wird, könnte man sicherstellen, dass die Verteilungen im data vollständig ausgeglichen sind oder den Verteilungen im demografischen data entsprechen.

An diesem Punkt könnten Sie versucht sein, die sensiblen Merkmale einfach aus Ihrem dataset zu entfernen, aber es hat sich gezeigt, dass das Entfernen sensibler Attribute nicht unbedingt ausreicht, um Ihr Modell fair zu machen. Das Modell könnte andere Merkmale verwenden, die mit dem entfernten sensiblen Merkmal korrelieren und so historische Verzerrungen reproduzieren. Ein Beispiel: Ein Merkmal A könnte stark mit dem Alter eines Kunden korreliert sein. Wenn also das data gegenüber einer bestimmten Altersgruppe voreingenommen ist (historische Voreingenommenheit könnte zu Diskriminierung aufgrund des Alters bei Einstellungen, Beförderungen usw. führen), wird diese Voreingenommenheit in Merkmal A kodiert und das Entfernen des Alters eines Kunden wird das Problem nicht lösen. Wenn Sie die sensible Funktion in Ihrem data beibehalten, haben Sie eine bessere Kontrolle über die Messung und Abschwächung von Vorurteilen und Fairness.

Es gibt eine Vielzahl von Fairness-Definitionen und Fairness-Metriken. Wir können Fairness unterteilen in individuelle Fairness und Gruppenfairness. Die individuelle Fairness gibt ähnlichen Individuen ähnliche Prognosen, während die Gruppenfairness verschiedene Gruppen gleich behandelt.

Um Gruppenfairness zu erreichen, wollen wir, dass die Wahrscheinlichkeit eines positiven Ergebnisses gleich ist, unabhängig davon, ob die Person in der geschützten Gruppe ist (z.B., weiblich) Gruppe oder nicht.
Eine einfache Gruppenmetrik ist der Vergleich des Prozentsatzes der günstigen Ergebnisse für die privilegierten und nicht privilegierten Gruppen (in unserem Beispiel das Geschlecht Männlich die “für ein Premiumangebot in Frage kommen” im Vergleich zum Geschlecht Weiblich die “für ein Premium-Geschäft in Frage kommen”). Sie können diesen Vergleich als Differenz zwischen den beiden Prozentsätzen berechnen, was zu folgendem Ergebnis führt statistische Paritätsdifferenz Metrik (auch genannt demografische Parität):

Damit es keinen Unterschied bei den positiven Ergebnissen zwischen privilegierten und nicht privilegierten Gruppen gibt, sollte die statistische Paritätsdifferenz gleich 0 sein.
Zum Thema der individuellen Fairness-Metrik gibt es die Konsistenz die den Grad der Ähnlichkeit von Etiketten für ähnliche Individuen mit Hilfe eines Algorithmus der nächsten Nachbarn misst:

Wir werden uns nicht mit diesem Thema befassen, aber der interessierte Leser kann dies nachlesen Artikel.
Sie können die praktische Bibliothek verwenden AIF360 mit dem Sie viele Fairness-Metriken berechnen können.
Alles, was Sie tun müssen, ist, Ihren dataframe in den StandardDataset. AIF360 verwendet eine StandardDataset das einen Pandas DataFrame mit vielen Attributen und Methoden umhüllt, die speziell für die Verarbeitung und Messung ethischer Vorurteile gedacht sind. Sie können dies dann als Eingabe für das BinaryLabelDatasetMetric Klasse, die eine Reihe von nützlichen Metriken berechnet.

Gemessen an unserem Trainingsbeispiel data stellen wir eine mittlere statistische Paritätsdifferenz von -0,21 fest, was bedeutet, dass die privilegierte Gruppe Männlich hatte 21% mehr positive Ergebnisse in der Trainingsmenge data.

Methoden, die auf algorithmische Verzerrungen abzielen, werden normalerweise in drei Kategorien unterteilt:

Wir haben die data-Trainingsdaten einer Vorverarbeitung unterzogen, um die statistische Paritätsdifferenz zu optimieren. Wir haben die Erneutes Wiegen Algorithmus (mehr Details in diesem Artikel) die in AIF360 implementiert ist, um die Beispiele in jeder Kombination (Gruppe, Label) unterschiedlich zu gewichten, um vor der Klassifizierung Fairness zu gewährleisten.

Das Attribut Instanzgewichte wurde geändert, um das empfindliche Merkmal in Bezug auf das Ziel neu auszubalancieren. Auf diese Weise wird die Erneutes Wiegen Algorithmus hat die Gruppenverzerrung beim Training data abgeschwächt: ein neues Maß für die statistische Paritätsdifferenz wurde vollständig von -0,21 auf 0 umgestellt.

In AIF360 sind weitere Algorithmen zur Reduzierung von Verzerrungen bei der Vorverarbeitung implementiert, wie z.B. der DisparateImpactRemover eine Technik, die die Merkmalswerte bearbeitet, um die Fairness in den Gruppen zu erhöhen und gleichzeitig die Rangfolge innerhalb der Gruppen zu erhalten (weitere Informationen finden Sie im folgenden Artikel) oder LFR (Learning fair representation). Dabei handelt es sich um eine Vorverarbeitungstechnik, mit der eine latente Repräsentation gefunden wird, die die data kodiert, aber Informationen über die geschützten Attribute verschleiert (weitere Informationen finden Sie im folgenden Artikel).

Wir haben dann zwei Klassifizierungsmodelle trainiert, eines mit den ursprünglichen data und das andere mit den neu gewichteten data. Wir stellen fest, dass die Neugewichtung nur eine schwache Auswirkung auf die Leistung hatte. Es gingen 1% der F1-Ergebnis.

Wir haben auch einen In-Processing-Algorithmus an unserem Anwendungsbeispiel ausprobiert: kontradiktorische Entblößung die die Metrik der Gruppenverzerrung (statistische Paritätsdifferenz wurde durch 2 geteilt) bei geringer Verschlechterung der Modellleistung (ca. 1% auf dem F1-Score) deutlich verbesserte.

Es kann also einen Kompromiss zwischen Leistung und Verzerrungsmetriken geben. Hier ist die Verschlechterung recht gering, aber in manchen Situationen könnte der Kompromiss akuter sein. Diese Informationen müssen dem Team und den entsprechenden Interessengruppen mitgeteilt werden, damit diese entscheiden können, wie sie mit diesem Problem umgehen.

Jetzt, da wir die Modelle trainiert haben, können wir ihre Vorhersagen untersuchen und nach einem Ungleichgewicht zwischen den Geschlechtern im Hinblick auf ein günstiges Ergebnis suchen. Es gibt viele Tools wie z.B. Was-wäre-wenn-Tool oder Aequitas mit denen Sie das Verhalten trainierter Modelle für maschinelles Lernen untersuchen und die Modellleistung und Fairness in Untergruppen untersuchen können.

Zur Veranschaulichung können Sie Aequitas verwenden, um Kreuztabellen und Visualisierungen zu erstellen, die verschiedene Verzerrungen und Leistungskennzahlen über die Untergruppen verteilt darstellen. So können wir zum Beispiel schnell die True-Positive-Raten der Klassifikatoren vergleichen, die auf dem ursprünglichen data und dem neu gewichteten data trainiert wurden. Wir sehen, dass diese Rate ausgeglichen ist und daher eine größere Gleichheit zwischen den Geschlechtern in Bezug auf das günstige Ergebnis des Modells, für einen Premiumvertrag in Frage zu kommen, ermöglicht.

Als Nachbearbeitungstechnik haben wir mit der Klassifizierungsschwelle interagiert. Ein Klassifizierungsmodell liefert uns normalerweise die Wahrscheinlichkeiten, die mit der Realisierung jeder Klasse als Vorhersage verbunden sind. Diese Wahrscheinlichkeit kann unverändert verwendet oder in einen binären Wert umgewandelt werden.
Um die Klasse zu ermitteln, die den ermittelten Wahrscheinlichkeiten entspricht, muss eine Klassifizierungsschwelle (auch Entscheidungsschwelle genannt) festgelegt werden. Jeder Wert, der über diesem Schwellenwert liegt, entspricht der positiven Kategorie “kommt für ein Prämiengeschäft in Frage” und umgekehrt für Werte unter diesem Schwellenwert.
Indem wir die Leistungsmetrik und die Verzerrungsmetrik (hier 1 - ungleiche Auswirkungen) für alle Klassifizierungsschwellenwerte aufzeichnen, können wir den optimalen Schwellenwert definieren. Dies hilft uns, den richtigen Schwellenwert zu wählen, um die Leistung zu maximieren und die Verzerrung zu minimieren.

In der linken Abbildung sehen wir, dass wir die Bias-Metrik verbessern können, wenn wir den Schwellenwert nach links verschieben und damit die Leistung ein wenig senken.
Außerdem beobachten wir erwartungsgemäß eine deutliche Verbesserung der Metriken für die Gruppenverzerrung bei dem neu gewichteten Modell (rechte Abbildung), die durch die Wahl eines anderen Klassifizierungsschwellenwerts weiter verbessert werden könnte, allerdings auf Kosten der Leistung.

Ein weiterer Grundpfeiler für den Aufbau vertrauenswürdiger maschineller Lernmodelle ist die Erklärbarkeit. Erklärbarkeit ist die Fähigkeit, sowohl die technischen Prozesse des KI-Systems als auch die Gründe für die Entscheidungen oder Vorhersagen, die das KI-System trifft, zu erläutern und somit den Einfluss der einzelnen Merkmale/Attribute auf die Vorhersagen zu quantifizieren. Die Verwendung leicht interpretierbarer Modelle anstelle von Black-Box-Modellen ist eine gute Praxis.

Es gibt viele Methoden, um die Erklärbarkeit von Modellen zu erhalten. Diese Methoden können in 2 Kategorien eingeteilt werden:

Hier wenden wir eine berühmte Post-Hoc-Methode an, nämlich SHAP (SHapley Additive exPlanations). Für weitere Informationen empfehlen wir Ihnen, sich mit diese sehr umfassende Ressource zu diesem Thema. Shap ist eine Bibliothek, die einen spieltheoretischen Ansatz zur Erklärung des Outputs eines beliebigen maschinellen Lernmodells implementiert.
Lassen Sie uns die Auswirkungen des Reweighing-Algorithmus auf die Erklärbarkeit des Modells beobachten:

Kurze Erinnerung daran, wie man Shaps liest bienenwarm Grundstücke:

Auf der linken Seite sehen wir die Erklärungskraft des ursprünglichen Modells. Wir stellen fest, dass in diesem Fall die Geschlechtsvariable eine sehr starke Vorhersagekraft hat und dass das Geschlecht Weiblich beeinflusst die Entscheidung für das Ziel “kein Anspruch auf ein Prämiengeschäft” mit einer großen Diskrepanz in Bezug auf das Geschlecht Männlich.

In der rechten Grafik sehen wir, dass in diesem Fall, in dem das Modell auf der neu gewichteten data trainiert wurde, die Bedeutung des Merkmals Geschlecht stark abgenommen hat. Es gehört jetzt zu den am wenigsten wichtigen Merkmalen. Außerdem ist der Einfluss der weiblichen gegenüber der männlichen Klasse auf die Vorhersage des Ziels viel ausgewogener (die Farben liegen beim Shapley-Wert nahe bei 0).

Ein weiterer wesentlicher Aspekt bei der Erstellung vertrauenswürdiger Algorithmen für maschinelles Lernen ist die Rückverfolgbarkeit der Ergebnisse und eine gute Reproduzierbarkeit der Experimente. Dadurch lässt sich leicht feststellen, welche Version eines Modells in Produktion gegangen ist, so dass es überprüft werden kann, wenn sein Verhalten Schaden anrichtet und nicht mehr mit den ethischen Werten des Unternehmens übereinstimmt.

Dazu muss man in der Lage sein, jede Modellversion und die damit verbundenen Trainings data, Hyperparameter und Ergebnisse zu verfolgen und aufzuzeichnen. Mehrere Tools können diese Aufgabe erfüllen: Mlflow ist eine großartige Option, mit der Sie schnell eine Weboberfläche erstellen können, die alle Läufe zentralisiert, während Sie Ihre Artefakte in einem Speicher Ihrer Wahl speichern. Jede Version des Experiments kann mit dem Hash des zugehörigen Commits nachverfolgt werden. Jede dieser Versionen enthält alle Elemente, die von MLflow aufgezeichnet wurden.

Hier ist eine Werkzeug das wir bei Artefact als Open Source zur Verfügung gestellt haben, mit dem Sie einen sicheren MLflow in einem GCP-Projekt mit einem einzigen Befehl einsetzen können.

Es ist auch eine gute Praxis, eine FactSheet für jedes Modell, das einer Modellidentitätskarte entspricht, in der verschiedene Elemente zusammengefasst sind, die die Vorverarbeitungsschritte, Leistungsmetriken, Verzerrungsmetriken usw. nachzeichnen.

Diese Ausweise werden von den data-Wissenschaftlern an die Betreiberteams der Modelle übergeben, damit diese feststellen können, ob das Modell für ihre Situation geeignet ist. Für weitere Einzelheiten über die Methodik zur Erstellung eines FactSheets empfehlen wir dieses Artikel. Das FactSheet kann auch, z.B. in Tabellenform, in MLFlow zusammen mit dem zugehörigen Modell gespeichert werden.

Sobald Ihr Modell zum Einsatz kommt, müssen Sie sicherstellen, dass es für den Zweck verwendet wird, für den es gedacht, entworfen und erstellt wurde. Eine Verzerrung des Einsatzes liegt dann vor, wenn es eine Diskrepanz zwischen dem Problem, das ein Modell lösen soll, und der Art und Weise, wie es tatsächlich verwendet wird, gibt. Dies geschieht häufig, wenn ein System so entwickelt und bewertet wird, als ob es völlig eigenständig wäre, während es in Wirklichkeit Teil eines komplexen soziotechnischen Systems ist, das von einer großen Anzahl von Entscheidungsträgern gesteuert wird.

data aus der Produktion können im Laufe der Zeit abdriften, was zu einer Verschlechterung der Algorithmusleistung führen kann, die zu Verzerrungen führen könnte. Die Verfolgung der data-Qualität in der Produktion und der data-Drift durch Überwachung der Verteilungen der neuen data im Vergleich zu den data, die zum Trainieren der Modelle verwendet wurden, sollte ein Schritt in der Produktionspipeline sein, um bei Bedarf die richtigen Warnungen auszulösen und festzulegen, wann ein erneutes Training erforderlich ist.

Die Produktionspipeline sollte so konzipiert sein, dass es eine Möglichkeit gibt, das aktuelle Modell abzuschalten oder zu einer früheren Version zurückzukehren.

In diesem Artikel stellen wir Ihnen einige bewährte Verfahren und Protokolle vor, die Sie beim Aufbau von Pipelines für maschinelles Lernen unterstützen und das Risiko, in ethische Fallen zu tappen, minimieren.

Dieser Artikel hat kaum an der Oberfläche des riesigen Themas der ethischen KI gekratzt und nur einen kleinen Ausschnitt der interessante Werkzeuge entwickelt, die jetzt verfügbar sind.
Wie wir gesehen haben, besteht der logischste Weg, Fairnessprobleme explizit anzugehen, darin, eine Sammlung ausgewählter Merkmale als potenziell diskriminierend zu deklarieren und dann durch dieses Prisma ethische Voreingenommenheit zu untersuchen. Diese einfache Technik hat jedoch den Fehler, dass Diskriminierung das Ergebnis einer Kombination von Merkmalen sein kann, die für sich genommen nicht diskriminierend sind. Außerdem werden Sie in vielen Fällen keinen Zugang zu einem sensiblen Merkmal haben (mehr zu diesem Thema Hier).
Die Bewertung der Fairness ist eine komplexe Aufgabe, die von der Art des Problems abhängt. Die Herangehensweise an ein Bewertungsproblem auf der Grundlage von data-Tabellen ist nicht dieselbe wie Abschwächen von Verzerrungen bei der Verarbeitung natürlicher Sprache.

Wir hoffen, dass der Austausch über unsere Sichtweise und Methoden Sie bei Ihren eigenen Projekten inspirieren wird! Vielen Dank für die Lektüre, zögern Sie nicht, der Artefact tech zu folgen Blog wenn Sie benachrichtigt werden möchten, wenn unser nächster Artikel erscheint!