Nachverfolgen der Leistungsmetriken von Mitarbeitern - Amazon SageMaker AI
Aktivieren der NachverfolgungVerfolgen von Metriken mithilfe von ProtokollenNachverfolgen von Metriken über die CloudWatch-Konsole

Nachverfolgen der Leistungsmetriken von Mitarbeitern

Amazon SageMaker Ground Truth protokolliert Auftragnehmer-Ereignisse in Amazon CloudWatch, z. B. wenn ein Auftragnehmer eine Aufgabe startet oder einreicht. Verwenden Sie Amazon CloudWatch-Metriken, um den Durchsatz in einem Team oder für einzelne Auftragnehmer zu messen und nachzuverfolgen.

Wichtig

Die Auftragnehmer-Ereignisverfolgung ist für Amazon Augmented AI-Workflows für die Prüfung durch Mensche nicht verfügbar.

Aktivieren der Nachverfolgung

Während des Einrichtungsprozesses für ein neues Arbeitsteam werden die Berechtigungen für die Amazon CloudWatch-Protokollierung von Auftragnehmer-Ereignissen erstellt. Da diese Funktion im August 2019 hinzugefügt wurde, verfügen Arbeitsteams, die zuvor erstellt wurden, möglicherweise nicht über die richtigen Berechtigungen. Wenn alle Ihre Arbeitsteams vor August 2019 erstellt wurden, erstellen Sie ein neues Arbeitsteam. Es benötigt keine Mitglieder und kann nach der Erstellung gelöscht werden. Durch die Erstellung werden jedoch die Berechtigungen eingerichtet und gelten für alle Ihre Arbeitsteams, unabhängig davon, wann diese erstellt wurden.

Verfolgen von Metriken mithilfe von Protokollen

Sobald die Nachverfolgung aktiviert wurde, werden die Aktivitäten Ihrer Auftragnehmer protokolliert. Öffnen Sie die Amazon CloudWatch-Konsole und wählen Sie im Navigationsbereich Logs aus. Sie sollten eine Protokollgruppe mit dem Namen /aws/sagemaker/groundtruth/WorkerActivity sehen.

Jede abgeschlossene Aufgabe wird durch einen Protokolleintrag dargestellt, der Informationen über den Auftragnehmer, sein Team, den Auftrag, den Zeitpunkt der Annahme der Aufgabe und den Zeitpunkt der Übermittlung enthält.

Beispiel Protokolleintrag
{
  "worker_id": "cd449a289e129409",
  "cognito_user_pool_id": "us-east-2_IpicJXXXX",
  "cognito_sub_id": "d6947aeb-0650-447a-ab5d-894db61017fd",
  "task_accepted_time": "Wed Aug 14 16:00:59 UTC 2019",
  "task_submitted_time": "Wed Aug 14 16:01:04 UTC 2019",
  "task_returned_time": "",
  "task_declined_time": "",
  "workteam_arn": "arn:aws:sagemaker:us-east-2:############:workteam/private-crowd/Sample-labeling-team",
  "labeling_job_arn": "arn:aws:sagemaker:us-east-2:############:labeling-job/metrics-demo",
  "work_requester_account_id": "############",
  "job_reference_code": "############",
  "job_type": "Private",
  "event_type": "TasksSubmitted",
  "event_timestamp": "1565798464"
}

Ein nützlicher Datenpunkt in jedem Ereignis ist die cognito_sub_id. Sie können diese einem einzelnen Worker zuordnen.

  1. Öffnen Sie die Konsole von Amazon SageMaker AI unter https://console.aws.amazon.com/sagemaker/.

  2. Wählen Sie im Bereich Ground Truth die Option Workforces aus.

  3. Wählen Sie Private (Privat) aus.

  4. Wählen Sie im Bereich Private teams (Private Teams) den Namen eines Teams aus.

  5. Wählen Sie im Bereich Team summary (Teamzusammenfassung) die Benutzergruppe aus, die unter Amazon Cognito user group (Amazon Cognito-Benutzergruppe) angegeben ist. Dadurch gelangen Sie zur Gruppe in der Amazon Cognito-Konsole.

  6. Auf der Seite Group (Gruppe) werden die Benutzer in der Gruppe aufgeführt. Wählen Sie den Link eines Benutzers in der Spalte Username (Benutzername), um weitere Informationen zum Benutzer anzuzeigen, einschließlich einer eindeutigen Sub (Unter)-ID.

Um Informationen über alle Teammitglieder zu erhalten, verwenden Sie die Aktion ListUsers (Beispiele) in der Amazon Cognito API.

Nachverfolgen von Metriken über die CloudWatch-Konsole

Wenn Sie keine eigenen Skripte schreiben möchten, um die rohen Protokollinformationen zu verarbeiten und zu visualisieren, bieten Ihnen die Amazon CloudWatch-Metriken Einblicke in die Arbeitsaktivitäten.

Anzeigen von -Metriken

  1. Öffnen Sie die CloudWatch-Konsole unter https://console.aws.amazon.com/cloudwatch/.

  2. Wählen Sie im Navigationsbereich Metriken aus.

  3. Wählen Sie AWS/SageMaker/Workteam Namensraum aus und sehen Sie sich die verfügbaren Metriken an. Wenn Sie beispielsweise die Metrik Workflow, Workteam und Workforce auswählen, können Sie die durchschnittliche Zeit berechnen, die eine eingereichte Aufgabe für einen bestimmten Kennzeichnungsauftrag benötigt.

Weitere Informationen finden Sie unter Verwenden von Amazon CloudWatch-Metriken.