Differenza nell'accettazione condizionale (DCAcc) - Amazon SageMaker AI

Differenza nell'accettazione condizionale (DCAcc)

Questa metrica confronta le etichette osservate con le etichette previste da un modello e valuta se questa è la stessa in tutti i facet per quanto riguarda gli esiti positivi previsti. Questa metrica si avvicina a imitare distorsione umane poiché quantifica quanti risultati positivi in più ha previsto un modello (etichette y') per un determinato facet rispetto a quanto osservato nel set di dati di addestramento (etichette y). Ad esempio, se nel set di dati di addestramento per le domande di prestito per un gruppo di mezza età (facet a) si osservassero più accettazioni (un risultato positivo) rispetto a quanto previsto dal modello basato sulle qualifiche rispetto al facet contenente altre fasce di età (facet d), ciò potrebbe indicare una potenziale distorsione nel modo in cui i prestiti sono stati approvati a favore del gruppo di mezza età.

La formula per la differenza nell'accettazione condizionale è la seguente:

        DCAcc = ca - cd

Dove:

  • ca = na(1)/ n'a(1) è il rapporto tra il numero osservato di esiti positivi del valore 1 (accettazioni) del facet a e il numero previsto di risultati positivi (accettazioni) per il facet a.

  • cd = nd(1)/ n'd(1) è il rapporto tra il numero osservato di esiti positivi del valore 1 (accettazioni) del facet d e il numero previsto di esiti positivi previsti (accettazioni) per il facet d.

La metrica DCAcc può rilevare distorsioni sia positive sia negative che rivelano un trattamento preferenziale basato sulle qualifiche. Considera i seguenti esempi di distorsioni basati sull'età nell'accettazione dei prestiti.

Esempio 1: distorsione positiva

Supponiamo di avere un set di dati composto da 100 persone di mezza età (facet a) e 50 persone di altre fasce d'età (facet d) che hanno richiesto prestiti, laddove il modello consigliasse di concedere prestiti a 60 persone del facet a e 30 per il facet d. Le proporzioni previste sono quindi imparziali rispetto alla metrica DPPL, ma le etichette osservate mostrano che a 70 elementi del facet a e a 20 del facet d sono stati concessi prestiti. In altre parole, il modello ha concesso prestiti al 17% in meno per le persone di mezza età rispetto alle etichette osservate nei dati di addestramento suggeriti (70/60 = 1,17) e ha concesso prestiti per il 33% in più ad altre fasce di età rispetto alle etichette osservate (20/30 = 0,67). Il calcolo del valore DCAcc fornisce quanto segue:

        DCAcc = 70/60 - 20/30 = 1/2

Il valore positivo indica che esiste una potenziale distorsione nei confronti del facet a di mezza età con un tasso di accettazione inferiore rispetto all'altro facet d rispetto a quanto indicato dai dati osservati (considerati imparziali).

Esempio 2: distorsione negativa

Supponiamo di avere un set di dati composto da 100 persone di mezza età (facet a) e 50 persone di altre fasce d'età (facet d) che hanno richiesto prestiti, laddove il modello consigliasse di concedere prestiti a 60 persone del facet a e 30 per il facet d. Le proporzioni previste sono quindi imparziali rispetto alla metrica DPPL, ma le etichette osservate mostrano che a 50 elementi del facet a e a 40 del facet d sono stati concessi prestiti. In altre parole, il modello ha concesso prestiti al 17% in meno per le persone di mezza età rispetto alle etichette osservate nei dati di addestramento suggeriti (50/60 = 0,83) e ha concesso prestiti per il 33% in più ad altre fasce di età rispetto alle etichette osservate (40/30 = 1,33). Il calcolo del valore DCAcc fornisce quanto segue:

        DCAcc = 50/60 - 40/30 = -1/2

Il valore negativo indica che esiste una potenziale distorsione nei confronti del facet d con un tasso di accettazione inferiore rispetto al facet a di mezza età rispetto a quanto indicato dai dati osservati (considerati imparziali).

Tieni presente che puoi utilizzare DCAcc per rilevare potenziali distorsioni (non intenzionali) da parte di esseri umani che supervisionano le previsioni del modello in un'impostazione human-in-the-loop. Supponiamo, ad esempio, che le previsioni y' fornite dal modello fossero imparziali, ma che la decisione finale venga presa da un essere umano (possibilmente con accesso a funzionalità aggiuntive) che può modificare le previsioni del modello per generare una nuova e definitiva versione di y'. L'ulteriore elaborazione da parte dell'essere umano può negare involontariamente prestiti a un numero sproporzionato da un facet. DCAcc può aiutare a rilevare tali potenziali distorsioni.

L'intervallo di valori per le differenze nell'accettazione condizionata per le etichette del facet binarie, multicategoria e continue è (-∞, +∞).

  • I valori positivi si verificano quando il rapporto tra il numero di accettazioni osservato e le accettazioni previste per il facet a è superiore allo stesso rapporto per il facet d. Questi valori indicano una possibile distorsione nei confronti dei richiedenti qualificati a causa del facet a. Maggiore è la differenza tra i rapporti, più estrema è la distorsione apparente.

  • I valori prossimi allo zero si verificano quando il rapporto tra il numero di accettazioni osservato e le accettazioni previste per il facet a è simile al rapporto per il facet d. Questi valori indicano che i tassi di accettazione previsti sono coerenti con i valori osservati nei dati etichettati e che i richiedenti qualificati di entrambi i facet vengono accettati in modo analogo.

  • I valori negativi si verificano quando il rapporto tra il numero di accettazioni osservato e le accettazioni previste per il facet a è inferiore al rapporto per il facet d. Questi valori indicano una possibile distorsione nei confronti dei richiedenti qualificati derivante dal facet d. Quanto più negativa è la differenza tra i rapporti, più estrema è la distorsione apparente.