Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Iteratives Training

-Übersicht

Iteratives Training ist der Prozess der wiederholten Feinabstimmung eines Modells durch mehrere Trainingszyklen mit unterschiedlichen Trainingsmethoden — Training, Bewertung, Fehleranalyse, Anpassung data/objectives/hyperparameters — wobei jede Runde am vorherigen Checkpoint beginnt. Dieser Ansatz ermöglicht es Ihnen, systematisch auf die Ursachen von Modellfehlern einzugehen, kuratierte Beispiele für spezifische Schwächen einzubeziehen und sich im Laufe der Zeit an sich ändernde Anforderungen anzupassen.

Vorteile gegenüber einer Schulung in nur einem Durchgang:

Funktionsweise

Standort und Zugang zum Checkpoint

Nach Abschluss jedes Trainingsjobs wird eine Manifestdatei an dem durch den output_path Parameter in Ihrer Trainingskonfiguration angegebenen Ausgabespeicherort generiert.

Um auf Ihren Checkpoint zuzugreifen

Beispiel für eine manifest.json-Struktur

{  
  "checkpoint_s3_bucket": "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<job-name>/stepID",  
  ...  
}

Grundlegendes zu Treuhandbuckets

Da es sich bei Amazon Nova um firmeneigene Prüfpunkte handelt, werden die Prüfpunkte des trainierten Modells in Treuhand-S3-Buckets innerhalb AWS verwalteter Konten gespeichert, anstatt auf Ihr Konto kopiert zu werden. Diese Treuhandkonten:

Sie können den Escrow-Bucket-Pfad als Pfad für Ihren nächsten model_name_or_path Trainingslauf verwenden, um das iterative Training fortzusetzen.

Checkpoints für iteratives Training verwenden

Konfigurieren Sie Ihren nächsten Trainingsjob so, dass er den vorherigen Checkpoint als Basismodell verwendet:

run:  
  name: "my-iterative-training-job"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<previous-job-name>"  
  data_s3_path: s3://<bucket>/<data-file>.jsonl  
  replicas: 4

Wann sollte iteratives Training verwendet werden

Ideale Anwendungsfälle

Verwenden Sie iteratives Training, wenn Sie:

Beispiele für robuste Bewertungsrahmen

Allgemeine Muster

SFT → RFT-Pipeline: Ein häufig verwendetes iteratives Muster beinhaltet:

Diese Reihenfolge ist wichtig, wenn Modelle anfänglich schlecht abschneiden. RFT auf Modellen mit einer Genauigkeit von nahezu Null verbessert die Leistung nicht, wenn nicht zuerst grundlegende Problemlösungsfunktionen durch SFT eingerichtet wurden.

Wann sollte iteratives Training nicht verwendet werden

Vermeiden Sie iteratives Training für:

Beispiel-Workflow: SFT → RFT

Dieses Beispiel zeigt ein gängiges iteratives Trainingsmuster für Argumentationsmodelle.

Schritt 1: Anfängliches SFT-Training

Konfigurieren und starten Sie Ihren SFT-Trainingsjob mit Ihrem Datensatz:

run:  
  name: "initial-sft-training"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "nova-lite-2/prod"  
  data_s3_path: s3://<bucket>/sft-training-data.jsonl  
  validation_data_s3_path: s3://<bucket>/sft-validation-data.jsonl

Begründung: SFT bietet zusätzliche Demonstrationen, mit denen die Modellausgaben in das gewünschte Format und die gewünschte Sprache gebracht werden, wodurch grundlegende Funktionen vermittelt werden.

Nach Abschluss der Schulung

Schritt 2: RFT-Training am SFT-Checkpoint

Erstellen Sie mithilfe des SFT-Checkpoints einen neuen RFT-Trainingsjob:

run:  
  name: "rft-on-sft-checkpoint"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<initial-sft-training>"  
  data_s3_path: s3://<bucket>/rft-training-data.jsonl  
  reward_lambda_arn: <your-reward-function-arn>

Begründung: Das RFT-Training baut auf der SFT-Grundlage auf und ermöglicht es dem Modell, komplexere Argumentationsmuster zu entwickeln, die anhand Ihrer Belohnungsfunktion optimiert sind.

Schritt 3: Evaluieren und iterieren

Führen Sie die Bewertung am RFT-Checkpoint durch, um die Leistung zu bewerten:

run:  
  name: "evaluate-rft-checkpoint"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<rft-on-sft-checkpoint>"  
  data_s3_path: s3://<bucket>/evaluation-data.jsonl

Wenn die Zielkennzahlen nicht erfüllt sind, fahren Sie mit der Iteration mit angepassten Daten oder Hyperparametern fort.

Überwachung des Fortschritts über Iterationen hinweg

Sie können Metriken verfolgen über MLFlow.

Erstellen Sie eine MLflow App

Verwenden der Studio-Benutzeroberfläche: Wenn Sie einen Schulungsjob über die Studio-Benutzeroberfläche erstellen, wird automatisch eine MLflow Standard-App erstellt und standardmäßig unter Erweiterte Optionen ausgewählt.

CLI verwenden: Wenn Sie die CLI verwenden, müssen Sie eine MLflow App erstellen und sie als Eingabe an die API-Anfrage für den Trainingsjob übergeben.

mlflow_app_name="<enter your MLflow app name>"  
role_arn="<enter your role ARN>"   
bucket_name="<enter your bucket name>"   
region="<enter your region>"  
  
mlflow_app_arn=$(aws sagemaker create-mlflow-app \  
  --name $mlflow_app_name \  
  --artifact-store-uri "s3://$bucket_name" \  
  --role-arn $role_arn \  
  --region $region)

Greifen Sie auf die MLflow App zu

Verwenden von CLI: Erstellen Sie eine vorsignierte URL für den Zugriff auf die MLflow App-Benutzeroberfläche:

aws sagemaker create-presigned-mlflow-app-url \  
  --arn $mlflow_app_arn \  
  --region $region \  
  --output text

Verwenden der Studio-Benutzeroberfläche: Die Studio-Benutzeroberfläche zeigt wichtige Kennzahlen an, die in der App-Benutzeroberfläche gespeichert sind, MLflow und bietet einen Link zur MLflow App-Benutzeroberfläche.

Wichtige Kennzahlen, die es zu verfolgen gilt

Überwachen Sie diese Kennzahlen in allen Iterationen, um die Verbesserung zu bewerten und den Arbeitsfortschritt zu verfolgen:

Für SFT

Für RFT

General

Feststellen, wann gestoppt werden soll

Beenden Sie die Iteration, wenn:

Ausführliche Bewertungsverfahren finden Sie im Abschnitt Bewertung.

Best Practices

Fangen Sie klein an und skalieren Sie schrittweise

Beginnen Sie mit minimalen Datensätzen und einzelnen Trainingsepochen, um Ihren Ansatz zu validieren, bevor Sie ihn skalieren. Das schafft Vertrauen und hilft, Probleme frühzeitig zu erkennen.

Legen Sie klare Erfolgskennzahlen fest

Definieren Sie quantitative und qualitative Indikatoren, bevor Sie beginnen:

Beispiele für Erfolgskennzahlen nach Anwendungsfall

Implementieren Sie eine automatisierte Bewertung

Richten Sie automatisierte Evaluierungspipelines ein, um die Leistung nach jeder Runde zu verfolgen und so eine schnelle Iteration und einen objektiven Vergleich zu ermöglichen.

Sorgen Sie für eine strenge Versionskontrolle

Dokument für jede Iteration:

Dadurch wird institutionelles Wissen aufgebaut und das Debuggen ermöglicht.

Konzentrieren Sie sich auf Datenqualität statt Quantität

Analysieren Sie Fehlerfälle aus früheren Runden und fügen Sie gezielte, qualitativ hochwertige Beispiele hinzu, anstatt einfach die Datensatzgröße zu erhöhen.

Planen Sie das Budget für die Iteration

Planen Sie für einen typischen Zeitraum von 3 bis 5 Iterationen ein:

Passen Sie die Anpassung auf der Grundlage des rechnerischen Budgets und der Leistungsverbesserungsraten an.

Implementieren Sie Rollback-Funktionen

Wenn eine Iteration Regressionen einführt:

Beispiel für einen Rollback

run:  
  name: "rollback-to-iteration-2"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  # Use iteration 2 checkpoint instead of failed iteration 3  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<iteration-2-job-name>"

Kostenüberlegungen

Checkpoint-Speicher

Tipps zur Kostenoptimierung

Einschränkungen

Modellieren Sie die Konsistenz der Familie

Beim iterativen Training müssen Sie in allen Iterationen denselben Modelltyp verwenden.

Anfängliches Training

run:  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "nova-lite-2/prod"

Nachfolgende Iterationen müssen denselben Model_Type verwenden

run:  
  model_type: amazon.nova-2-lite-v1:0:256k  # Must match original  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<job-name>"

Konsistenz der Trainingstechnik

Die Trainingstechnik muss in allen Iterationen konsistent bleiben:

Wie funktionieren LoRa-Adapter im iterativen Training

Kompatibilitätsmatrix für die Technik

Überprüfung der Kompatibilität vor Beginn eines Jobs

Fehlerbehebung

Fehler: „Inkompatible Modelltrainingstechniken erkannt“

Ursache: Die Trainingstechnik (LoRa vs. Full-Rank) stimmt nicht mit der Technik des Checkpoints überein.

Lösung: Stellen Sie sicher, dass Ihr Rezept dieselbe Trainingstechnik wie das Originalmodell verwendet:

Fehler: „Das Basismodell für den Job, der aus model_name_or_path extrahiert wurde, stimmt nicht mit model_type überein“

Ursache: Der in angegebene Modelltyp stimmt model_type nicht mit dem tatsächlichen Modell im Checkpoint überein.

Lösung: Stellen Sie sicher, dass:

Beispiel für eine korrekte Konfiguration

run:  
  model_type: amazon.nova-2-lite-v1:0:256k  # Must match checkpoint's model  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<job-name>"

Fehler: „Modellkonfiguration nicht gefunden“

Ursache: Der S3-Pfad in model_name_or_path ist ungültig oder es kann nicht darauf zugegriffen werden.

Auflösung

Leistungsrückgang nach der Iteration

Symptome: Die Bewertungskennzahlen nehmen nach einer neuen Trainingsiteration ab.

Auflösung