Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Indicateurs de qualité des modèles et CloudWatch surveillance d'Amazon
Note
Amazon SageMaker Model Monitor n'est plus ouvert aux nouveaux clients. Les clients existants peuvent continuer à utiliser le service normalement. AWS continue d'investir dans l'amélioration de la sécurité et de la disponibilité de Model Monitor, mais nous ne prévoyons pas d'introduire de nouvelles fonctionnalités. Pour de plus amples informations, veuillez consulter Modification de la disponibilité d'Amazon SageMaker Model Monitor.
Les tâches de surveillance de la qualité des modèles calculent différentes métriques pour évaluer la qualité et les performances de vos modèles de machine learning. Les métriques spécifiques calculées dépendent du type de problème ML : régression, classification binaire ou classification multi-classes. La surveillance de ces métriques est essentielle pour détecter la dérive des modèles au fil du temps. Les sections suivantes présentent les principaux indicateurs de qualité des modèles pour chaque type de problème, ainsi que la manière de configurer une surveillance et des alertes automatisées CloudWatch afin de suivre en permanence les performances de votre modèle.
Note
L’écart-type pour les métriques n’est fourni que si au moins 200 échantillons sont disponibles. Model Monitor calcule l’écart-type en échantillonnant au hasard 80 % des données cinq fois, en calculant la métrique et en calculant l’écart-type de ces résultats.
Métriques de régression
L'exemple suivant illustre les métriques calculées par Model Monitor pour un problème de régression.
"regression_metrics" : { "mae" : { "value" : 0.3711832061068702, "standard_deviation" : 0.0037566388129940394 }, "mse" : { "value" : 0.3711832061068702, "standard_deviation" : 0.0037566388129940524 }, "rmse" : { "value" : 0.609248066149471, "standard_deviation" : 0.003079253267651125 }, "r2" : { "value" : -1.3766111872212665, "standard_deviation" : 0.022653980022771227 } }
Métriques de classification binaire
L'exemple suivant illustre les métriques calculées par Model Monitor pour un problème de classification binaire.
"binary_classification_metrics" : { "confusion_matrix" : { "0" : { "0" : 1, "1" : 2 }, "1" : { "0" : 0, "1" : 1 } }, "recall" : { "value" : 1.0, "standard_deviation" : "NaN" }, "precision" : { "value" : 0.3333333333333333, "standard_deviation" : "NaN" }, "accuracy" : { "value" : 0.5, "standard_deviation" : "NaN" }, "recall_best_constant_classifier" : { "value" : 1.0, "standard_deviation" : "NaN" }, "precision_best_constant_classifier" : { "value" : 0.25, "standard_deviation" : "NaN" }, "accuracy_best_constant_classifier" : { "value" : 0.25, "standard_deviation" : "NaN" }, "true_positive_rate" : { "value" : 1.0, "standard_deviation" : "NaN" }, "true_negative_rate" : { "value" : 0.33333333333333337, "standard_deviation" : "NaN" }, "false_positive_rate" : { "value" : 0.6666666666666666, "standard_deviation" : "NaN" }, "false_negative_rate" : { "value" : 0.0, "standard_deviation" : "NaN" }, "receiver_operating_characteristic_curve" : { "false_positive_rates" : [ 0.0, 0.0, 0.0, 0.0, 0.0, 1.0 ], "true_positive_rates" : [ 0.0, 0.25, 0.5, 0.75, 1.0, 1.0 ] }, "precision_recall_curve" : { "precisions" : [ 1.0, 1.0, 1.0, 1.0, 1.0 ], "recalls" : [ 0.0, 0.25, 0.5, 0.75, 1.0 ] }, "auc" : { "value" : 1.0, "standard_deviation" : "NaN" }, "f0_5" : { "value" : 0.3846153846153846, "standard_deviation" : "NaN" }, "f1" : { "value" : 0.5, "standard_deviation" : "NaN" }, "f2" : { "value" : 0.7142857142857143, "standard_deviation" : "NaN" }, "f0_5_best_constant_classifier" : { "value" : 0.29411764705882354, "standard_deviation" : "NaN" }, "f1_best_constant_classifier" : { "value" : 0.4, "standard_deviation" : "NaN" }, "f2_best_constant_classifier" : { "value" : 0.625, "standard_deviation" : "NaN" } }
Métriques multi-classes
L’exemple suivant illustre les métriques calculées par la surveillance de la qualité des modèles pour un problème de classification multi-classes.
"multiclass_classification_metrics" : { "confusion_matrix" : { "0" : { "0" : 1180, "1" : 510 }, "1" : { "0" : 268, "1" : 138 } }, "accuracy" : { "value" : 0.6288167938931297, "standard_deviation" : 0.00375663881299405 }, "weighted_recall" : { "value" : 0.6288167938931297, "standard_deviation" : 0.003756638812994008 }, "weighted_precision" : { "value" : 0.6983172269629505, "standard_deviation" : 0.006195912915307507 }, "weighted_f0_5" : { "value" : 0.6803947317178771, "standard_deviation" : 0.005328406973561699 }, "weighted_f1" : { "value" : 0.6571162346664904, "standard_deviation" : 0.004385008075019733 }, "weighted_f2" : { "value" : 0.6384024354394601, "standard_deviation" : 0.003867109755267757 }, "accuracy_best_constant_classifier" : { "value" : 0.19370229007633588, "standard_deviation" : 0.0032049848450732355 }, "weighted_recall_best_constant_classifier" : { "value" : 0.19370229007633588, "standard_deviation" : 0.0032049848450732355 }, "weighted_precision_best_constant_classifier" : { "value" : 0.03752057718081697, "standard_deviation" : 0.001241536088657851 }, "weighted_f0_5_best_constant_classifier" : { "value" : 0.04473443104152011, "standard_deviation" : 0.0014460485504284792 }, "weighted_f1_best_constant_classifier" : { "value" : 0.06286421244683643, "standard_deviation" : 0.0019113576884608862 }, "weighted_f2_best_constant_classifier" : { "value" : 0.10570313141262414, "standard_deviation" : 0.002734216826748117 } }
Surveillance des indicateurs de qualité des modèles avec CloudWatch
Si vous définissez la valeur de enable_cloudwatch_metrics to True lorsque vous créez le calendrier de surveillance, les tâches de surveillance de la qualité du modèle envoient toutes les métriques à CloudWatch.
Les métriques de qualité des modèles apparaissent dans l’espace de noms suivant :
-
Pour les points de terminaison en temps réel :
aws/sagemaker/Endpoints/model-metrics -
Pour les tâches de transformation par lots :
aws/sagemaker/ModelMonitoring/model-metrics
Pour obtenir la liste des métriques émises, consultez les sections précédentes de cette page.
Vous pouvez utiliser CloudWatch des métriques pour créer une alarme lorsqu'une métrique spécifique n'atteint pas le seuil que vous avez spécifié. Pour obtenir des instructions sur la création d' CloudWatch alarmes, voir Créer une CloudWatch alarme en fonction d'un seuil statique dans le Guide de CloudWatch l'utilisateur.
