Métriques CloudWatch pour l’analyse de dérive de biais - Amazon SageMaker AI

Métriques CloudWatch pour l’analyse de dérive de biais

Ce guide présente les métriques CloudWatch et leurs propriétés que vous pouvez utiliser pour l’analyse de dérive de biais dans SageMaker Clarify. Les tâches de surveillance de la dérive des biais calculent les métriques de biais de pré-entraînement et les métriques de biais de post-entraînement, et les publient dans l'espace de noms CloudWatch suivant :

  • Pour les points de terminaison en temps réel : aws/sagemaker/Endpoints/bias-metrics

  • Pour les tâches de transformation par lots : aws/sagemaker/ModelMonitoring/bias-metrics

Le nom de la métrique CloudWatch ajoute le nom court de la métrique à bias_metric.

Par exemple,bias_metric_CI est la métrique de biais pour le déséquilibre de classe (IC).

Note

+/- infinity est publié en tant que nombre à virgule flottante +/- 2.348543e108, et les erreurs incluant des valeurs nulles ne sont pas publiées.

Chaque métrique comporte les propriétés suivantes :

  • Endpoint : le nom du point de terminaison surveillé, le cas échéant.

  • MonitoringSchedule : le nom du programme de surveillance.

  • BiasStage : le nom de l'étape de la tâche de surveillance de dérive de biais. Choisissez Pre-training ou Post-Training.

  • Label : le nom de la fonctionnalité cible, fourni par la configuration de l'analyse des tâches de surveillance label.

  • LabelValue : la valeur de la fonctionnalité cible, fournie par la configuration de l'analyse des tâches de surveillance label_values_or_threshold.

  • Facet : le nom de la fonctionnalité cible, fourni par la facette de la configuration de l'analyse des tâches de surveillance name_of_index.

  • FacetValue : la valeur de la fonctionnalité cible, fournie par la facette de la configuration de l'analyse des tâches de surveillance nvalue_or_threshold.

Pour empêcher les tâches de surveillance de publier des métriques, définissez publish_cloudwatch_metrics à Disabled dans la Environmentcarte de la définition du modèle de tâche de bias.