View a markdown version of this page

Monitoraggio dello stato del processo di etichettatura - Amazon SageMaker AI

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Monitoraggio dello stato del processo di etichettatura

Nota

Amazon SageMaker Ground Truth non è più aperto a nuovi clienti. I clienti esistenti possono continuare a utilizzare il servizio normalmente. AWS continua a investire in miglioramenti della sicurezza e della disponibilità di Ground Truth, ma non prevediamo di introdurre nuove funzionalità.

Per monitorare lo stato dei tuoi lavori di etichettatura, puoi impostare una regola Amazon CloudWatch Events (CloudWatch Events) per consentire ad Amazon SageMaker Ground Truth (Ground Truth) di inviare un evento a CloudWatch Events quando lo stato di un lavoro di etichettatura cambia a CompletedFailed, Stopped o quando un lavoratore accetta, rifiuta, invia o restituisce un'attività.

Una volta creata una regola, puoi aggiungervi un obiettivo. CloudWatch Events utilizza questo target per richiamare un altro AWS servizio per elaborare l'evento. Ad esempio, puoi creare una destinazione utilizzando un argomento Amazon Simple Notification Service (Amazon SNS) per inviare una notifica al tuo indirizzo e-mail quando lo stato di un processo di etichettatura cambia.

Prerequisiti:

Per creare una regola CloudWatch Events, avrai bisogno di un ruolo AWS Identity and Access Management (IAM) con allegata una policy di fiducia di events.amazonaws.com. Di seguito è riportato un esempio di una policy di attendibilità events.amazonaws.com.

JSON
{ "Version":"2012-10-17", "Statement": [ { "Sid": "", "Effect": "Allow", "Principal": { "Service": [ "events.amazonaws.com" ] }, "Action": "sts:AssumeRole" } ] }

Invia eventi a Eventi CloudWatch

Per configurare una regola CloudWatch Events per ottenere aggiornamenti di stato, o eventi, per i tuoi lavori di etichettatura di Ground Truth, usa il put-rule comando AWS Command Line Interface (AWS CLI). Puoi filtrare gli eventi inviati alla regola in base alla modifica dello stato. Ad esempio, puoi creare una regola che invia una notifica all'utente solo se lo stato di un processo di etichettatura cambia in Completed. Quando si utilizza il comando put-rule, specifica quanto segue per ricevere gli stati del processo di etichettatura:

  • \"source\":[\"aws.sagemaker\"]

  • \"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"]

Per configurare una regola CloudWatch Events per controllare tutte le modifiche di stato, usate il comando seguente e sostituite il testo segnaposto. Ad esempio, sostituiscila "GTLabelingJobStateChanges" con un nome univoco di regola CloudWatch Events e "arn:aws:iam::111122223333:role/MyRoleForThisRule" con l'Amazon Resource Number (ARN) di un ruolo IAM con allegata una politica di fiducia di events.amazonaws.com.

aws events put-rule --name "GTLabelingJobStateChanges" --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"]}" --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" --region "region"

Per filtrare in base allo stato del processo, utilizza la sintassi \"detail\":{\"LabelingJobStatus\":[\"Status\"]}}". I valori validi di Status sono Completed, Failed ed Stopped.

L'esempio seguente crea una regola CloudWatch Events che ti avvisa quando un lavoro di etichettatura in us-west-2 (Oregon) cambia in. Completed

aws events put-rule --name "LabelingJobCompleted" --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"], \"detail\":{\"LabelingJobStatus\":[\"Completed\"]}}" --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" --region us-west-2

L'esempio seguente crea una regola CloudWatch Events che avvisa l'utente quando un processo di etichettatura in us-east-1 (Virginia) cambia in o. Completed Failed

aws events put-rule --name "LabelingJobCompletedOrFailed" --event-pattern "{\"source\":[\"aws.sagemaker\"],\"detail-type\":[\"SageMaker Ground Truth Labeling Job State Change\"], \"detail\":{\"LabelingJobStatus\":[\"Completed\", \"Failed\"]}}" --role-arn "arn:aws:iam::111122223333:role/MyRoleForThisRule" --region us-east-1

Per ulteriori informazioni sulla put-rule richiesta, consulta Event Patterns in CloudWatch Events nella Amazon CloudWatch Events User Guide.

Configurazione di una destinazione per elaborare eventi

Dopo aver creato una regola, eventi simili ai seguenti vengono inviati a CloudWatch Eventi. In questo esempio, lo stato del processo di etichettatura test-labeling-job è cambiato in Completed.

{ "version": "0", "id": "111e1111-11d1-111f-b111-1111b11dcb11", "detail-type": "SageMaker Ground Truth Labeling Job State Change", "source": "aws.sagemaker", "account": "111122223333", "time": "2018-10-06T12:26:13Z", "region": "us-east-1", "resources": [ "arn:aws:sagemaker:us-east-1:111122223333:labeling-job/test-labeling-job" ], "detail": { "LabelingJobStatus": "Completed" } }

Per elaborare gli eventi, è necessario configurare una destinazione. Ad esempio, se desideri ricevere un'e-mail quando lo stato del tuo processo di etichettatura cambia, utilizza una procedura in Configurazione delle notifiche di Amazon SNS nella Amazon CloudWatch User Guide per impostare un argomento di Amazon SNS e sottoscrivere la tua email. Dopo aver creato un argomento, puoi utilizzarlo per creare una destinazione.

Per aggiungere un obiettivo alla tua regola Events CloudWatch
  1. Apri la CloudWatch console: https://console.aws.amazon.com/cloudwatch/home

  2. Nel riquadro di navigazione, scegli Regole.

  3. Scegliere la regola a cui aggiungere una destinazione.

  4. Seleziona Azioni, quindi scegli Modifica.

  5. In Target, scegli Add Target e scegli il AWS servizio che desideri utilizzare quando viene rilevato un evento di modifica dello stato del lavoro di etichettatura.

  6. Configurazione della destinazione. Per le istruzioni, consulta l'argomento relativo alla configurazione di una destinazione nella Documentazione AWS per tale servizio.

  7. Scegli Configura dettagli.

  8. In Nome, immetti un nome e, facoltativamente, fornisci dettagli sullo scopo della regola in Descrizione.

  9. Accertati che la casella di controllo accanto a Stato sia selezionata, in modo che la regola sia indicata come Abilitata.

  10. Scegli Aggiorna regola.

Scadenza processo di etichettatura

Se il processo di etichettatura non viene completato dopo 30 giorni, scadrà. Se il processo di etichettatura scade, è possibile concatenare il processo per creare un nuovo processo di etichettatura che invierà solo dati non etichettati ai worker. Per ulteriori informazioni e per informazioni su come creare un processo di etichettatura utilizzando il concatenamento, consulta Concatenazione di processi di etichettatura.

Rifiuto delle attività

I worker possono rifiutare le attività.

I worker rifiutano un'attività se le istruzioni non sono chiare, i dati di input non vengono visualizzati correttamente o se riscontrano altri problemi con l'attività. Se il numero di worker per oggetto set di dati (NumberOfHumanWorkersPerDataObject) rifiuta l'attività, l'oggetto dati viene contrassegnato come scaduto e non verrà inviato ad altri worker.