CloudWatch-Metriken für die Bias-Drift-Analyse - Amazon SageMaker AI

CloudWatch-Metriken für die Bias-Drift-Analyse

Dieses Handbuch zeigt CloudWatch-Metriken und ihre Eigenschaften, die Sie für die Bias-Drift-Analyse in SageMaker Clarify verwenden können. Jobs zur Überwachung von Verzerrungen berechnen sowohl Bias-Metriken vor dem Training als auch Bias-Metriken nach dem Training und veröffentlichen sie im folgenden CloudWatch-Namespace:

  • Für Echtzeit-Endpunkte: aws/sagemaker/Endpoints/bias-metrics

  • Erstellen Sie Stapeltransformationsaufträge: aws/sagemaker/ModelMonitoring/bias-metrics

Der Name der CloudWatch-Metrik hängt den Kurznamen der Metrik auf bias_metric an.

Dies bias_metric_CI ist beispielsweise die Bias-Metrik für das Klassenungleichgewicht (CI).

Anmerkung

+/- infinity wird als Fließkommazahl veröffentlicht, und Fehler +/- 2.348543e108, einschließlich Nullwerte, werden nicht veröffentlicht.

Jede Metrik hat die folgenden Eigenschaften:

  • Endpoint: Der Name des überwachten Endpunkts, falls zutreffend.

  • MonitoringSchedule: Der Name des Überwachungszeitplans.

  • BiasStage: Der Name der Phase, in der der Bias-Drift-Monitoring-Auftrag ausgeführt wird. Wählen Sie Pre-training oder Post-Training.

  • Label: Der Name der Zielfunktion, der von der Konfiguration label für die Analyse des Monitoring-Auftragesbereitgestellt wird.

  • LabelValue: Der Wert der Zielfunktion, der von der Konfiguration label_values_or_threshold für die Analyse des Monitoring-Auftrages bereitgestellt wird.

  • Facet: Der Name der Facette, der von der Konfigurationsfacette name_of_index für die Monitoring-Auftrag-Analyse bereitgestellt wird.

  • FacetValue: Der Wert der Facette, der von der Konfigurationsfacette für die Analyse von nvalue_or_thresholdÜberwachungsaufträgen bereitgestellt wird.

Um zu verhindern, dass die Monitoring-Jobs Metriken veröffentlichen, setzen Sie publish_cloudwatch_metrics auf Disabled in der Environment Map of Model Bias Auftragsdefinition auf.