Supervisar el estado de trabajos de etiquetado

Para supervisar el estado de sus trabajos de etiquetado, puede configurar una regla de Eventos de Amazon CloudWatch (Eventos de CloudWatch) para Amazon SageMaker Ground Truth (Ground Truth) para enviar un evento a Eventos de CloudWatch cuando el estado de un trabajo de etiquetado cambie a Completed, Failed o Stopped o cuando un trabajador acepte, rechace, envíe o devuelva una tarea.

Una vez que ha creado una regla, puede añadirle un destino. Eventos de CloudWatch utiliza este destino para invocar a otro servicio de AWS para procesar el evento. Por ejemplo, puede crear un destino utilizando un tema de Amazon Simple Notification Service (Amazon SNS) para recibir una notificación por correo electrónico cuando cambie el estado de un trabajo de etiquetado.

Requisitos previos:

Para crear una regla de Eventos de CloudWatch, necesitará un rol de AWS Identity and Access Management (IAM) con una política de confianza events.amazonaws.com asociada. A continuación se muestra un ejemplo de una política de confianza events.amazonaws.com.

JSON

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
        "Service": [
          "events.amazonaws.com"
        ]
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

Enviar eventos a Eventos de CloudWatch

Si desea configurar una regla de Eventos de CloudWatch para obtener actualizaciones de estado, o eventos, para los trabajos de etiquetado de Ground Truth, utilice el comando AWS Command Line Interface (AWS CLI) put-rule. Puede filtrar los eventos que se envían a la regla por cambio de estado. Por ejemplo, puede crear una regla que le notifique solo si el estado de un trabajo de etiquetado cambia a Completed. Al utilizar el comando put-rule, especifique lo siguiente para recibir los estados del trabajo de etiquetado:

Para configurar una regla de Eventos de CloudWatch a fin de observar todos los cambios de estado, utilice el siguiente comando y sustituya el texto del marcador de posición. Por ejemplo, reemplace "GTLabelingJobStateChanges" por un nombre de regla de Eventos de CloudWatch único y "arn:aws:iam::111122223333:role/MyRoleForThisRule" por el número de recurso de Amazon (ARN) de un rol de IAM con una política de confianza events.amazonaws.com asociada.

aws events put-rule --name "GTLabelingJobStateChanges" 
    --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"]}" 
    --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" 
    --region "region"

Para filtrar por estado del trabajo, utilice la sintaxis \"detail\":{\"LabelingJobStatus\":[\"Status\"]}}". Los valores válidos para Status son Completed, Failed y Stopped.

En el ejemplo siguiente se crea una regla de Eventos de CloudWatch que le notifica cuando un trabajo de etiquetado en us-west-2 (Oregón) cambia a Completed.

aws events put-rule --name "LabelingJobCompleted" 
    --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"], \"detail\":{\"LabelingJobStatus\":[\"Completed\"]}}"  
    --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" 
    --region us-west-2

En el ejemplo siguiente se crea una regla de Eventos de CloudWatch que le notifica cuando un trabajo de etiquetado en us-east-1 (Virginia) cambia a Completed o Failed.

aws events put-rule --name "LabelingJobCompletedOrFailed" 
    --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"], \"detail\":{\"LabelingJobStatus\":[\"Completed\", \"Failed\"]}}"  
    --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" 
    --region us-east-1

Para obtener más información sobre la solicitud de put-rule, consulte Patrones de eventos en Eventos de CloudWatch, en la Guía del usuario de Eventos de Amazon CloudWatch.

Configurar un destino para procesar eventos

Después de crear una regla, se envían eventos similares a los siguientes a Eventos de CloudWatch. En este ejemplo, el estado test-labeling-job del trabajo de etiquetado cambió a Completed.

{
    "version": "0",
    "id": "111e1111-11d1-111f-b111-1111b11dcb11",
    "detail-type": "SageMaker Ground Truth Labeling Job State Change",
    "source": "aws.sagemaker",
    "account": "111122223333",
    "time": "2018-10-06T12:26:13Z",
    "region": "us-east-1",
    "resources": [
        "arn:aws:sagemaker:us-east-1:111122223333:labeling-job/test-labeling-job"
    ],
    "detail": {      
        "LabelingJobStatus": "Completed"
    }
}

Para procesar eventos, debe configurar un destino. Por ejemplo, si desea recibir un correo electrónico cuando cambie el estado de trabajo de etiquetado, utilice un procedimiento de Configuración de notificaciones de Amazon SNS, en la Guía del usuario de Amazon CloudWatch, para configurar un tema de Amazon SNS y suscribir su correo electrónico a este. Una vez que haya creado un tema, puede usarlo para crear un destino.

Vencimiento del trabajo de etiquetado

Si el trabajo de etiquetado no se completa en un plazo de 30 días, vencerá. Si el trabajo de etiquetado ha vencido, puede encadenarlo para crear un nuevo trabajo de etiquetado que solo envíe datos sin etiqueta a los trabajadores. Para obtener más información y aprender a crear un trabajo de etiquetado con encadenamiento, consulte Encadenar trabajos de etiquetado.

Rechazar tareas

Los trabajadores pueden rechazar tareas.

Los trabajadores rechazan una tarea si las instrucciones no son claras, los datos de entrada no se muestran correctamente o si encuentran algún otro problema con la tarea. Si el número de trabajadores por objeto del conjunto de datos (NumberOfHumanWorkersPerDataObject) rechaza la tarea, el objeto de datos se marca como caducado y no se enviará a más trabajadores.