Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Formazione iterativa

Panoramica di

L'allenamento iterativo è il processo di messa a punto ripetutamente di un modello attraverso più cicli di allenamento utilizzando diversi metodi di allenamento (formazione, valutazione, analisi degli errori, aggiustamentodata/objectives/hyperparameters), con ogni round a partire dal checkpoint precedente. Questo approccio consente di individuare in modo sistematico le modalità di errore del modello, incorporare esempi curati che affrontano punti deboli specifici e adattarsi ai cambiamenti dei requisiti nel tempo.

Vantaggi rispetto alla formazione con un solo passaggio:

Come funziona

Ubicazione e accesso al checkpoint

Al termine di ogni processo di formazione, viene generato un file manifesto nella posizione di output specificata dal output_path parametro nella configurazione di addestramento.

Per accedere al tuo checkpoint

Esempio di struttura manifest.json

{  
  "checkpoint_s3_bucket": "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<job-name>/stepID",  
  ...  
}

Comprendere i bucket di deposito a garanzia

Poiché i pesi di Amazon Nova sono proprietari, i checkpoint dei modelli addestrati vengono archiviati in bucket escrow S3 all'interno di account AWS gestiti anziché essere copiati nel tuo account. Questi secchi di deposito a garanzia:

Puoi utilizzare l'escrow bucket path come corso di allenamento successivo per continuare l'model_name_or_pathallenamento iterativo.

Utilizzo dei checkpoint per la formazione iterativa

Configura il tuo prossimo lavoro di formazione in modo da utilizzare il checkpoint precedente come modello base:

run:  
  name: "my-iterative-training-job"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<previous-job-name>"  
  data_s3_path: s3://<bucket>/<data-file>.jsonl  
  replicas: 4

Quando utilizzare la formazione iterativa

Casi d'uso ideali

Usa la formazione iterativa quando hai:

Esempi di solidi framework di valutazione

Schemi comuni

SFT → RFT Pipeline: Un modello iterativo usato di frequente prevede:

Questa sequenza è essenziale quando i modelli hanno inizialmente prestazioni scadenti: la RFT su modelli con precisione prossima allo zero non migliorerà le prestazioni senza prima stabilire le funzionalità di base per la risoluzione dei problemi tramite SFT.

Quando non utilizzare la formazione iterativa

Evita la formazione iterativa per:

Esempio di flusso di lavoro: SFT → RFT

Questo esempio dimostra un modello di addestramento iterativo comune per i modelli di ragionamento.

Fase 1: formazione iniziale SFT

Configura e avvia il tuo processo di formazione SFT con il tuo set di dati:

run:  
  name: "initial-sft-training"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "nova-lite-2/prod"  
  data_s3_path: s3://<bucket>/sft-training-data.jsonl  
  validation_data_s3_path: s3://<bucket>/sft-validation-data.jsonl

Fondamento logico: SFT fornisce dimostrazioni aggiuntive che modellano gli output del modello nel formato e nella voce desiderati, stabilendo funzionalità di base.

Al termine dell'allenamento

Fase 2: formazione RFT sul checkpoint SFT

Crea un nuovo lavoro di formazione RFT utilizzando il checkpoint SFT:

run:  
  name: "rft-on-sft-checkpoint"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<initial-sft-training>"  
  data_s3_path: s3://<bucket>/rft-training-data.jsonl  
  reward_lambda_arn: <your-reward-function-arn>

Fondamento logico: la formazione RFT si basa sulle fondamenta SFT e consente al modello di sviluppare modelli di ragionamento più complessi ottimizzati dalla funzione di ricompensa.

Fase 3: valutazione e iterazione

Esegui la valutazione sul checkpoint RFT per valutare le prestazioni:

run:  
  name: "evaluate-rft-checkpoint"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<rft-on-sft-checkpoint>"  
  data_s3_path: s3://<bucket>/evaluation-data.jsonl

Se le metriche target non sono soddisfatte, continua a iterare con dati o iperparametri modificati.

Monitoraggio dei progressi tra le iterazioni

Puoi tenere traccia delle metriche tramite. MLFlow

Crea un'app MLflow

Utilizzo dell'interfaccia utente di Studio: se crei un lavoro di formazione tramite l'interfaccia utente di Studio, viene creata automaticamente MLflow un'app predefinita e selezionata per impostazione predefinita in Opzioni avanzate.

Utilizzo della CLI: se utilizzi la CLI, devi creare un' MLflow app e passarla come input alla richiesta API del lavoro di formazione.

mlflow_app_name="<enter your MLflow app name>"  
role_arn="<enter your role ARN>"   
bucket_name="<enter your bucket name>"   
region="<enter your region>"  
  
mlflow_app_arn=$(aws sagemaker create-mlflow-app \  
  --name $mlflow_app_name \  
  --artifact-store-uri "s3://$bucket_name" \  
  --role-arn $role_arn \  
  --region $region)

Accedi all'app MLflow

Utilizzo della CLI: crea un URL predefinito per accedere all'interfaccia utente dell' MLflow app:

aws sagemaker create-presigned-mlflow-app-url \  
  --arn $mlflow_app_arn \  
  --region $region \  
  --output text

Utilizzo dell'interfaccia utente di Studio: l'interfaccia utente di Studio mostra le metriche chiave archiviate MLflow e fornisce un collegamento all'interfaccia utente dell' MLflow app.

Metriche chiave da monitorare

Monitora queste metriche tra le iterazioni per valutare i miglioramenti e monitorare l'avanzamento del lavoro:

Per SFT

Per RFT

Ambito generale

Determinare quando fermarsi

Interrompi l'iterazione quando:

Per le procedure di valutazione dettagliate, consulta la sezione Valutazione.

Best practice

Inizia in piccolo e scala gradualmente

Inizia con set di dati minimi e singole epoche di formazione per convalidare il tuo approccio prima di espanderlo. Questo aumenta la fiducia e aiuta a identificare tempestivamente i problemi.

Stabilisci metriche di successo chiare

Definisci indicatori quantitativi e qualitativi prima di iniziare:

Esempi di metriche di successo per caso d'uso

Implementa la valutazione automat

Imposta pipeline di valutazione automatizzate per monitorare le prestazioni dopo ogni round, consentendo iterazioni rapide e confronti obiettivi.

Mantieni un controllo rigoroso delle versioni

Documento per ogni iterazione:

Ciò aumenta la conoscenza istituzionale e consente il debug.

Concentrati sulla qualità dei dati piuttosto che sulla quantità

Analizza i casi di fallimento dei round precedenti e aggiungi esempi mirati e di alta qualità anziché limitarti ad aumentare le dimensioni del set di dati.

Pianifica il budget di iterazione

Pianifica 3-5 iterazioni come intervallo tipico:

Effettua la regolazione in base al budget di calcolo e ai tassi di miglioramento delle prestazioni.

Implementa funzionalità di rollback

Se un'iterazione introduce regressioni:

Esempio di rollback

run:  
  name: "rollback-to-iteration-2"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  # Use iteration 2 checkpoint instead of failed iteration 3  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<iteration-2-job-name>"

Considerazioni sui costi

Archiviazione ai checkpoint

Suggerimenti per l'ottimizzazione dei costi

Limitazioni

Coerenza familiare modello

Durante l'addestramento iterativo, è necessario utilizzare lo stesso tipo di modello in tutte le iterazioni.

Addestramento iniziale

run:  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "nova-lite-2/prod"

Le iterazioni successive devono utilizzare lo stesso model_type

run:  
  model_type: amazon.nova-2-lite-v1:0:256k  # Must match original  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<job-name>"

Coerenza della tecnica di allenamento

La tecnica di allenamento deve rimanere coerente tra le iterazioni:

Come funzionano gli adattatori LoRa nell'addestramento iterativo

Matrice di compatibilità tecnica

Verifica della compatibilità prima di iniziare un lavoro

risoluzione dei problemi

Errore: «Sono state rilevate tecniche di addestramento del modello incompatibili»

Causa: la tecnica di allenamento (LoRa vs. Full-Rank) non corrisponde alla tecnica del checkpoint.

Risoluzione: assicurati che la tua ricetta utilizzi la stessa tecnica di allenamento del modello originale:

Errore: «Il modello base per il lavoro estratto da model_name_or_path non corrisponde a model_type»

Causa: il tipo di modello specificato in model_type non corrisponde al modello effettivo nel checkpoint.

Risoluzione: verifica che:

Esempio di configurazione corretta

run:  
  model_type: amazon.nova-2-lite-v1:0:256k  # Must match checkpoint's model  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<job-name>"

Errore: «Configurazione del modello non trovata»

Causa: il percorso di ingresso S3 non model_name_or_path è valido o è inaccessibile.

Risoluzione:

Regressione delle prestazioni dopo l'iterazione

Sintomi: le metriche di valutazione diminuiscono dopo una nuova iterazione dell'allenamento.

Risoluzione: