Tracciare le metriche delle prestazioni dei worker
Amazon SageMaker Ground Truth registra gli eventi dei worker su Amazon CloudWatch, ad esempio quando un worker avvia o invia un'attività. Utilizza i parametri di Amazon CloudWatch per misurare e monitorare il throughput di un team o di singoli worker.
Importante
Il monitoraggio degli eventi dei worker non è disponibile per i flussi di lavoro di revisione umana di IA aumentata Amazon.
Abilitazione del monitoraggio
Durante il processo di configurazione di un nuovo team di lavoro, vengono create le autorizzazioni per la registrazione dei file di log Amazon CloudWatch per gli eventi dei worker. Poiché questa funzionalità è stata aggiunta nell'agosto del 2019, i team di lavoro creati prima di tale data potrebbero non disporre delle autorizzazioni corrette. Se tutti i tuoi team di lavoro sono stati creati prima dell'agosto 2019, crea un nuovo team di lavoro. Non è necessario aggiungere alcun membro e il team può essere eliminato dopo la creazione ma, semplicemente creandolo, verranno stabilite le autorizzazioni che saranno poi applicate a tutti i team di lavoro, a prescindere dal momento in cui sono stati creati.
Tracciare le metriche utilizzando i log
Una volta abilitato il monitoraggio, l'attività dei worker verrà registrata. Apri la console Amazon CloudWatch e scegli Log nel riquadro di navigazione. Viene visualizzato un gruppo di log denominato /aws/sagemaker/groundtruth/WorkerActivity.
Ogni attività completata viene rappresentata da una voce di log, contenente informazioni sul worker, sul relativo team, sull'attività, sulla data di accettazione dell'attività e sulla data di invio.
Esempio Voce di log
{ "worker_id": "cd449a289e129409", "cognito_user_pool_id": "us-east-2_IpicJXXXX", "cognito_sub_id": "d6947aeb-0650-447a-ab5d-894db61017fd", "task_accepted_time": "Wed Aug 14 16:00:59 UTC 2019", "task_submitted_time": "Wed Aug 14 16:01:04 UTC 2019", "task_returned_time": "", "task_declined_time": "", "workteam_arn": "arn:aws:sagemaker:us-east-2:############:workteam/private-crowd/Sample-labeling-team", "labeling_job_arn": "arn:aws:sagemaker:us-east-2:############:labeling-job/metrics-demo", "work_requester_account_id": "############", "job_reference_code": "############", "job_type": "Private", "event_type": "TasksSubmitted", "event_timestamp": "1565798464" }
Un punto dati utile in ogni evento è cognito_sub_id. Puoi associarlo a un singolo worker.
-
Apri la console di Amazon SageMaker AI all’indirizzo https://console.aws.amazon.com/sagemaker/
. Nella sezione Ground Truth scegli Forze lavoro.
Scegli Privato.
Fai clic sul nome di un team nella sezione Team privati.
Nella sezione Riepilogo team, seleziona il gruppo di utenti identificato in Gruppo di utenti Amazon Cognito. Il gruppo viene visualizzato nella console di Amazon Cognito.
Nella pagina Gruppo sono elencati gli utenti nel gruppo. Seleziona un qualsiasi collegamento utente nella colonna Nome utente per visualizzare ulteriori informazioni sull'utente, incluso un ID secondario univoco.
Per ottenere informazioni su tutti i membri del team, utilizza l'operazione ListUsers (esempi) nell'API di Amazon Cognito.
Tracciare le metriche utilizzando la console CloudWatch
Se non desideri scrivere script personalizzati per elaborare e visualizzare le informazioni di log non elaborate, i parametri di Amazon CloudWatch ti offrono informazioni dettagliate sull'attività del worker.
Visualizzazione dei parametri
Apri la console CloudWatch all'indirizzo https://console.aws.amazon.com/cloudwatch/
. -
Nel riquadro di navigazione, scegli Parametri.
-
Seleziona lo spazio dei nomi
AWS/SageMaker/Workteamquindi esplora i parametri disponibili. Ad esempio, selezionando i parametri Team di lavoro e Forza lavoro puoi calcolare il tempo medio per attività inviata per un processo di etichettatura specifico.
Per maggiori informazioni, consulta Using Amazon CloudWatch Metrics.
