Überwachung des Fortschritts zwischen den Iterationen - Amazon SageMaker KI
Erstellen Sie eine MLflow AppGreifen Sie auf die MLflow App zuWichtige Kennzahlen, die es zu verfolgen giltFeststellen, wann gestoppt werden soll

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Überwachung des Fortschritts zwischen den Iterationen

Sie können Metriken verfolgen über MLflow.

Erstellen Sie eine MLflow App

Verwenden der Studio-Benutzeroberfläche: Wenn Sie einen Schulungsjob über die Studio-Benutzeroberfläche erstellen, wird automatisch eine MLflow Standard-App erstellt und standardmäßig unter Erweiterte Optionen ausgewählt.

CLI verwenden: Wenn Sie die CLI verwenden, müssen Sie eine MLflow App erstellen und sie als Eingabe an die API-Anfrage für den Trainingsjob übergeben.

mlflow_app_name="<enter your MLflow app name>"
role_arn="<enter your role ARN>" 
bucket_name="<enter your bucket name>" 
region="<enter your region>"

mlflow_app_arn=$(aws sagemaker create-mlflow-app \
  --name $mlflow_app_name \
  --artifact-store-uri "s3://$bucket_name" \
  --role-arn $role_arn \
  --region $region)

Greifen Sie auf die MLflow App zu

Verwenden von CLI: Erstellen Sie eine vorsignierte URL für den Zugriff auf die MLflow App-Benutzeroberfläche:

aws sagemaker create-presigned-mlflow-app-url \
  --arn $mlflow_app_arn \
  --region $region \
  --output text

Verwenden der Studio-Benutzeroberfläche: Die Studio-Benutzeroberfläche zeigt wichtige Kennzahlen an, die in der App-Benutzeroberfläche gespeichert sind, MLflow und bietet einen Link zur MLflow App-Benutzeroberfläche.

Wichtige Kennzahlen, die es zu verfolgen gilt

Überwachen Sie diese Kennzahlen in allen Iterationen, um die Verbesserung zu bewerten und den Arbeitsfortschritt zu verfolgen:

Für SFT

  • Verlustkurven beim Training

  • Anzahl der verbrauchten Proben und Dauer der Probenverarbeitung

  • Leistungsgenauigkeit bei ausgestreckten Testgeräten

  • Formatkonformität (z. B. gültige JSON-Ausgaberate)

  • Unklarheit in Bezug auf domänenspezifische Bewertungsdaten

Für RFT

  • Durchschnittliche Belohnungspunktzahl im Vergleich zum Training

  • Verteilung der Prämien (Prozentsatz der Antworten mit hoher Prämie)

  • Trends bei der Validierung von Prämien (achten Sie auf zu hohe Anforderungen)

  • Aufgabenspezifische Erfolgsquoten (z. B. Erfolgsquote bei der Codeausführung, Genauigkeit mathematischer Probleme)

General

  • Vergleichen Sie Leistungsdeltas zwischen Iterationen

  • Bewertungsergebnisse am Menschen anhand repräsentativer Stichproben

  • Produktionskennzahlen (bei iterativer Bereitstellung)

Feststellen, wann gestoppt werden soll

Beenden Sie die Iteration, wenn:

  • Leistungsplateaus: Zusätzliche Schulungen verbessern die Zielkennzahlen nicht mehr nennenswert

  • Technikwechsel hilft: Wenn bei einer Technik ein Plateau auftritt, versuchen Sie, zu wechseln (z. B. SFT → RFT → SFT), um die Leistungsobergrenzen zu durchbrechen

  • Erreichte Zielkennzahlen: Ihre Erfolgskriterien sind erfüllt

  • Regression erkannt: Neue Iterationen verschlechtern die Leistung (siehe Rollback-Verfahren unten)

Ausführliche Bewertungsverfahren finden Sie im Abschnitt Bewertung.