Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Unterschied in der bedingten Akzeptanz (dcACC)
Anmerkung
Amazon SageMaker Clarify steht neuen Kunden nicht mehr offen. Bestehende Kunden können den Service weiterhin wie gewohnt nutzen. AWS investiert weiterhin in Sicherheits- und Verfügbarkeitsverbesserungen für Clarify, aber wir planen nicht, neue Funktionen einzuführen. Weitere Informationen finden Sie unter Klären Sie die Verfügbarkeit, ändern.
Diese Metrik vergleicht die beobachteten Kennzeichnungen mit den vom Modell vorhergesagten Kennzeichnungen und bewertet, ob diese Werte bei vorhergesagten positiven Ergebnissen für alle Facetn gleich sind. Diese Metrik ahmt menschliche Verzerrungen insofern sehr nach, als sie quantifiziert, wie viele positive Ergebnisse ein Modell für eine bestimmte Facet vorhergesagt hat (mit 'y' bezeichnet), verglichen mit den Ergebnissen, die im Trainingsdatensatz beobachtet wurden (Bezeichnungen y). Wenn beispielsweise im Trainingsdatensatz für Kreditanträge für eine Gruppe mittleren Alters (Facet a) mehr Akzeptanz festgestellt wurde (ein positives Ergebnis) als von dem auf Qualifikationen basierenden Modell vorhergesagt wurde als in der Facet, die andere Altersgruppen umfasst (Facet d), könnte dies auf mögliche Verzerrungen bei der Kreditvergabe zugunsten der Gruppe mittleren Alters hindeuten.
Die Formel für den Unterschied in der bedingten Akzeptanz lautet wie folgt:
DCAcc = ca – cd
Wobei Folgendes gilt:
-
ca = na(1)/ n'a(1) ist das Verhältnis der beobachteten Anzahl positiver Ergebnisse mit dem Wert 1 (Akzeptanz) von Facet a zur vorhergesagten Anzahl positiver Ergebnisse (Akzeptanz) für Facet a.
-
cd = nd(1)/ n'd(1) ist das Verhältnis der beobachteten Anzahl positiver Ergebnisse mit dem Wert 1 (Akzeptanz) der Facet d zur prognostizierten Anzahl der vorhergesagten positiven Ergebnisse (Akzeptanz) für Facet d.
Die dcACC-Metrik kann sowohl positive als auch negative Verzerrungen erfassen, die auf eine bevorzugte Behandlung aufgrund von Qualifikationen schließen lassen. Betrachten Sie die folgenden Fälle altersbedingter Vorurteile bei der Annahme von Krediten.
Beispiel 1: Positive Verzerrung
Nehmen wir an, wir haben einen Datensatz mit 100 Personen mittleren Alters (Facet a) und 50 Personen aus anderen Altersgruppen (Facet d), die Kredite beantragt haben, wobei das Modell empfahl, 60 Personen aus Facet a und 30 aus Facet d Kredite zu vergeben. Die prognostizierten Anteile sind also in Bezug auf die DPPL-Metrik unvoreingenommen, aber die beobachteten Angaben zeigen, dass 70 aus der Facet a und 20 aus der Facet d Kredite gewährt wurden. Mit anderen Worten, das Modell gewährte 17% weniger Kredite aus dem mittleren Alter, als es die beobachteten Bezeichnungen in den Ausbildungsdaten vermuten ließen (70/60 = 1,17), und es wurden 33% mehr Kredite aus anderen Altersgruppen gewährt, als es die beobachteten Labels nahelegen (20/30 = 0,67). Die Berechnung des dCACC-Werts ergibt Folgendes:
dCACC = - = 70/60 20/30 1/2
Der positive Wert weist darauf hin, dass ein potenzieller Bias gegenüber der Facet a mittleren Alters mit einer niedrigeren Akzeptanzrate als der anderen Facet d besteht, als es die beobachteten Daten (als unvoreingenommen betrachtet) vermuten lassen.
Beispiel 2: Negativer Bias
Nehmen wir an, wir haben einen Datensatz mit 100 Personen mittleren Alters (Facet a) und 50 Personen aus anderen Altersgruppen (Facet d), die Kredite beantragt haben, wobei das Modell empfahl, 60 Personen aus Facet a und 30 aus Facet d Kredite zu vergeben. Die prognostizierten Anteile sind also in Bezug auf die DPPL-Metrik unvoreingenommen, aber die beobachteten Angaben zeigen, dass 50 aus der Facet a und 40 aus der Facet d Kredite gewährt wurden. Mit anderen Worten, das Modell gewährte 17% weniger Kredite aus dem mittleren Alter, als die beobachteten Angaben in den Ausbildungsdaten vermuten ließen (50/60 = 0,83), und es wurden 33% mehr Kredite aus anderen Altersgruppen gewährt, als es die beobachteten Labels vermuten ließen (40/30 = 1,33). Die Berechnung des dCACC-Werts ergibt Folgendes:
DCAcc = - = - 50/60 40/30 1/2
Der negative Wert weist darauf hin, dass ein potenzieller Bias gegenüber der Facet d mit einer niedrigeren Akzeptanzrate als bei der Facet a mittleren Alters vorliegt, als es die beobachteten Daten (als unvoreingenommen betrachtet) vermuten lassen.
Beachten Sie, dass Sie dcACC verwenden können, um potenzielle (unbeabsichtigte) Verzerrungen zu erkennen, die durch Menschen verursacht werden, die die Modellvorhersagen in einer Umgebung verfolgen, in der ein Mensch in der Schleife steht. Nehmen wir zum Beispiel an, dass die Vorhersagen y' durch das Modell unvoreingenommen waren, aber die letztendliche Entscheidung wird von einem Menschen getroffen (möglicherweise mit Zugriff auf zusätzliche Funktionen), der die Modellvorhersagen ändern kann, um eine neue und endgültige Version von y zu generieren. Die zusätzliche Verarbeitung durch den Menschen kann dazu führen, dass ungewollt Kredite an eine unverhältnismäßige Anzahl von Personen aufgrund einer Facet verweigert werden. DCACC kann dabei helfen, solche potenziellen Verzerrungen zu erkennen.
Der Wertebereich für Unterschiede in der bedingten Akzeptanz für binäre, mehrkategoriale Facetnbezeichnungen und kontinuierliche Beschriftungen ist (-∞, +∞).
-
Positive Werte liegen vor, wenn das Verhältnis der beobachteten Anzahl von Annahmen zu den vorhergesagten Annahmen für Facet a höher ist als das gleiche Verhältnis für Facet d. Diese Werte deuten auf eine mögliche Voreingenommenheit gegenüber den qualifizierten Bewerbern aus Facet a hin. Je größer der Unterschied zwischen den Verhältnissen ist, desto extremer ist die scheinbare Verzerrung.
-
Werte nahe Null liegen vor, wenn das Verhältnis der beobachteten Anzahl von Annahmen zu den vorhergesagten Annahmen für Facet a dem Verhältnis für Facet d entspricht. Diese Werte deuten darauf hin, dass die prognostizierten Annahmequoten mit den beobachteten Werten in den gekennzeichneten Daten übereinstimmen und dass qualifizierte Bewerber aus beiden Facetn auf ähnliche Weise aufgenommen werden.
-
Negative Werte liegen vor, wenn das Verhältnis der beobachteten Anzahl von Annahmen zu den prognostizierten Annahmen für Facet a geringer ist als das Verhältnis für Facet d. Diese Werte deuten auf eine mögliche Voreingenommenheit gegenüber den qualifizierten Bewerbern aus Facet d hin. Je negativer der Unterschied in den Verhältnissen ist, desto extremer ist die offensichtliche Verzerrung.
