Seguimiento de las métricas de rendimiento del trabajador
Amazon SageMaker Ground Truth registra los eventos de los trabajadores en Amazon CloudWatch, como cuando un trabajador inicia o envía una tarea. Utilice las métricas de Amazon CloudWatch para medir y realizar un seguimiento del rendimiento en un equipo o para trabajadores individuales.
importante
El seguimiento de eventos del trabajador no está disponible para los flujos de trabajo de revisión humana de Amazon Augmented AI.
Habilitar seguimiento
Durante el proceso de configuración de un nuevo equipo de trabajo, se crean los permisos para el registro de eventos de trabajadores en Amazon CloudWatch. Dado que esta característica se añadió en agosto de 2019, es posible que los equipos de trabajo creados antes de esta fecha no dispongan de los permisos correctos. Si todos sus equipos de trabajo se crearon antes de agosto de 2019, cree un nuevo equipo de trabajo. No necesita ningún miembro y puede eliminarse después de su creación, pero al crearlo, estará estableciendo los permisos se establecerán y se aplicarán a todos sus equipos de trabajo, independientemente de cuándo hayan creado.
Seguimiento de las métricas mediante registros
Una vez habilitado el seguimiento, se registrará la actividad de los trabajadores. Abra la consola de Amazon CloudWatch y, en el panel de navegación, seleccione Registros. Debería ver un grupo de registros denominado /aws/sagemaker/groundtruth/WorkerActivity.
Cada tarea completada estará representada por una entrada de registro con información sobre el trabajador, su equipo, el trabajo, cuándo se aceptó la tarea y cuándo se envió.
ejemplo Entrada de registro
{ "worker_id": "cd449a289e129409", "cognito_user_pool_id": "us-east-2_IpicJXXXX", "cognito_sub_id": "d6947aeb-0650-447a-ab5d-894db61017fd", "task_accepted_time": "Wed Aug 14 16:00:59 UTC 2019", "task_submitted_time": "Wed Aug 14 16:01:04 UTC 2019", "task_returned_time": "", "task_declined_time": "", "workteam_arn": "arn:aws:sagemaker:us-east-2:############:workteam/private-crowd/Sample-labeling-team", "labeling_job_arn": "arn:aws:sagemaker:us-east-2:############:labeling-job/metrics-demo", "work_requester_account_id": "############", "job_reference_code": "############", "job_type": "Private", "event_type": "TasksSubmitted", "event_timestamp": "1565798464" }
Un punto de datos útil en cada evento es cognito_sub_id. Puede cotejarlo con un trabajador individual.
-
Abra la consola de Amazon SageMaker AI en https://console.aws.amazon.com/sagemaker/
. En la sección Ground Truth, elija Personal.
Seleccione Privado.
Elija el nombre de un equipo en la sección Equipos privados.
En la sección Resumen del equipo, elija el grupo de usuarios identificado en Grupo de usuarios de Amazon Cognito. Esto le llevará al grupo en la consola de Amazon Cognito.
La página Grupo enumera los usuarios del grupo. Elija el enlace de cualquier usuario en la columna Nombre de usuario para ver información adicional sobre el usuario, incluido un sub ID único.
Para obtener información sobre todos los miembros del equipo, utilice la acción ListUsers (ejemplos) en la API de Amazon Cognito.
Seguimiento de las métricas mediante la consola de CloudWatch
Si no quiere escribir sus propios scripts para procesar y visualizar la información de registro sin procesar, las métricas de Amazon CloudWatch le proporcionan información sobre la actividad del trabajador.
Para ver las métricas
Abra la consola de CloudWatch en https://console.aws.amazon.com/cloudwatch/
. -
En el panel de navegación, seleccione Métricas.
-
Elija el espacio de nombre
AWS/SageMaker/Workteam, luego explore las métricas disponibles. Por ejemplo, seleccionar las métricas Flujo de trabajo y Personal le permite calcular el tiempo medio por tarea enviada para un trabajo de etiquetado específico.
Para obtener más información, consulte Uso de métricas de Amazon CloudWatch.
