Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Kullback-Leibler Divergence (KL)
Note
Amazon SageMaker Clarify n'est plus ouvert aux nouveaux clients. Les clients existants peuvent continuer à utiliser le service normalement. AWS continue d'investir dans l'amélioration de la sécurité et de la disponibilité de Clarify, mais nous ne prévoyons pas d'introduire de nouvelles fonctionnalités. Pour de plus amples informations, veuillez consulter Clarifier le changement de disponibilité.
La Kullback-Leibler divergence (KL) mesure dans quelle mesure la distribution d'étiquette observée de la facette a, P a (y) diverge de la distribution de la facette d, P d (y). Elle est également connue sous le nom d'entropie relative de Pa(y) par rapport à Pd(y), et quantifie la quantité d'informations perdues lors du passage de Pa(y) à Pd(y).
La formule de la Kullback-Leibler divergence est la suivante :
KL(Pa || Pd) = ∑yPa(y)*log[Pa(y)/Pd(y)]
C'est l'attente de la différence logarithmique entre les probabilités Pa(y) et Pd(y), lorsque l'attente est pondérée par les probabilités Pa(y). Elle n'indique pas une vraie distance entre les distributions, car elle est asymétrique et ne satisfait pas l'inégalité du triangle. La mise en œuvre utilise des logarithmes naturels et exprime la divergence de KL en unités de nats. L'utilisation de différentes bases logarithmiques donne des résultats proportionnels mais dans des unités différentes. Par exemple, l'utilisation d'une base 2 donne KL en unités de bits.
Par exemple, supposons qu'un groupe de demandeurs de prêts a un taux d'approbation de 30 % (facette d) et que le taux d'approbation pour les autres demandeurs (facette a) est de 80 %. La Kullback-Leibler formule vous donne la divergence de distribution des étiquettes entre la facette a et la facette d comme suit :
KL = 0,8*ln (0). 8/00,3) + 0,2*ln (0). 2/00,7) = 0,53
Ici, il y a deux termes dans la formule, car l'exemple cite des étiquettes binaires. Cette mesure peut être appliquée à plusieurs autres étiquettes en plus des étiquettes binaires. Par exemple, dans un scénario d'admission à l'université, supposons qu'un candidat puisse se voir attribuer l'une des trois catégories d'étiquettes suivantes : yi = {y0, y1, y2} = {rejeté, sur liste d'attente, accepté}.
La plage de valeurs de la métrique KL pour les résultats binaires, multicatégoriels et continus est de [0, +∞).
-
Les valeurs proches de zéro signifient une distribution similaire des résultats pour les différentes facettes.
-
Les valeurs positives indiquent une divergence dans les distributions d'étiquettes, d'autant plus importante que le nombre de valeurs positives est élevé.
