Inspecter les rapports de dérive d’attribution des fonctions dans les modèles de production

Une fois que le programme que vous avez configuré a démarré par défaut, vous devez attendre que sa première exécution démarre, puis l’arrêter pour éviter d’encourir des frais.

Pour inspecter les rapports, utilisez le code suivant :

schedule_desc = model_explainability_monitor.describe_schedule()
execution_summary = schedule_desc.get("LastMonitoringExecutionSummary")
if execution_summary and execution_summary["MonitoringExecutionStatus"] in ["Completed", "CompletedWithViolations"]:
    last_model_explainability_monitor_execution = model_explainability_monitor.list_executions()[-1]
    last_model_explainability_monitor_execution_report_uri = last_model_explainability_monitor_execution.output.destination
    print(f'Report URI: {last_model_explainability_monitor_execution_report_uri}')
    last_model_explainability_monitor_execution_report_files = sorted(S3Downloader.list(last_model_explainability_monitor_execution_report_uri))
    print("Found Report Files:")
    print("\n ".join(last_model_explainability_monitor_execution_report_files))
else:
    last_model_explainability_monitor_execution = None
    print("====STOP==== \n No completed executions to inspect further. Please wait till an execution completes or investigate previously reported failures.")

En cas de violations par rapport à la référence, celles-ci sont répertoriées ici :

if last_model_explainability_monitor_execution:
    model_explainability_violations = last_model_explainability_monitor_execution.constraint_violations()
    if model_explainability_violations:
        print(model_explainability_violations.body_dict)

Si votre modèle est déployé sur un point de terminaison en temps réel, vous pouvez visualiser les résultats d'analyse et les métriques CloudWatch dans SageMaker Studio en choisissant l'onglet Endpoints (Points de terminaison), puis en double-cliquant sur le point de terminaison.