Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Entraînement itératif

Présentation de

L'entraînement itératif est le processus qui consiste à peaufiner un modèle à plusieurs reprises au cours de plusieurs cycles d'entraînement impliquant différentes méthodes d'entraînement (formation, évaluation, analyse des erreurs, ajustementdata/objectives/hyperparameters), chaque cycle commençant par le point de contrôle précédent. Cette approche vous permet de cibler systématiquement les modes de défaillance des modèles, d'intégrer des exemples sélectionnés pour remédier à des faiblesses spécifiques et de vous adapter à l'évolution des exigences au fil du temps.

Avantages par rapport à une formation en un seul passage :

Comment ça marche

Emplacement et accès aux points de contrôle

Une fois chaque tâche de formation terminée, un fichier manifeste est généré à l'emplacement de sortie spécifié par le output_path paramètre dans votre configuration d'entraînement.

Pour accéder à votre point de contrôle

Exemple de structure manifest.json

{  
  "checkpoint_s3_bucket": "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<job-name>/stepID",  
  ...  
}

Comprendre les compartiments d'entiercement

Les poids Amazon Nova étant exclusifs, les points de contrôle des modèles entraînés sont stockés dans des compartiments S3 séquestres au sein de comptes AWS gérés au lieu d'être copiés sur votre compte. Ces compartiments d'entiercement :

Vous pouvez utiliser le chemin du compartiment d'entiercement model_name_or_path lors de votre prochain cycle d'entraînement pour poursuivre l'entraînement itératif.

Utilisation de points de contrôle pour la formation itérative

Configurez votre prochaine tâche de formation pour utiliser le point de contrôle précédent comme modèle de base :

run:  
  name: "my-iterative-training-job"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<previous-job-name>"  
  data_s3_path: s3://<bucket>/<data-file>.jsonl  
  replicas: 4

Quand utiliser la formation itérative

Cas d'utilisation idéaux

Utilisez l'entraînement itératif lorsque vous avez :

Exemples de cadres d'évaluation robustes

Schémas courants

Pipeline SFT → RFT : Un modèle itératif fréquemment utilisé implique :

Cette séquence est essentielle lorsque les modèles fonctionnent mal au départ : la RFT sur des modèles de précision proche de zéro n'améliorera pas les performances sans établir au préalable des capacités de résolution de problèmes de base via SFT.

Quand ne pas utiliser la formation itérative

Évitez les formations itératives pour :

Exemple de flux de travail : SFT → RFT

Cet exemple illustre un modèle d'entraînement itératif courant pour les modèles de raisonnement.

Étape 1 : Formation initiale au SFT

Configurez et lancez votre tâche de formation SFT avec votre ensemble de données :

run:  
  name: "initial-sft-training"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "nova-lite-2/prod"  
  data_s3_path: s3://<bucket>/sft-training-data.jsonl  
  validation_data_s3_path: s3://<bucket>/sft-validation-data.jsonl

Justification : SFT propose des démonstrations supplémentaires qui façonnent les sorties du modèle dans le format et la voix souhaités, établissant ainsi les capacités de base.

Une fois la formation terminée

Étape 2 : formation RFT sur le point de contrôle SFT

Créez une nouvelle tâche de formation RFT à l'aide du point de contrôle SFT :

run:  
  name: "rft-on-sft-checkpoint"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<initial-sft-training>"  
  data_s3_path: s3://<bucket>/rft-training-data.jsonl  
  reward_lambda_arn: <your-reward-function-arn>

Justification : La formation RFT s'appuie sur les bases du SFT, permettant au modèle de développer des modèles de raisonnement plus complexes optimisés par votre fonction de récompense.

Étape 3 : évaluer et itérer

Exécutez une évaluation sur le point de contrôle RFT pour évaluer les performances :

run:  
  name: "evaluate-rft-checkpoint"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<rft-on-sft-checkpoint>"  
  data_s3_path: s3://<bucket>/evaluation-data.jsonl

Si les métriques cibles ne sont pas satisfaites, poursuivez l'itération avec des données ajustées ou des hyperparamètres.

Suivi des progrès au fil des itérations

Vous pouvez suivre les métriques via MLFlow.

Création d'une MLflow application

Utilisation de l'interface utilisateur de Studio : si vous créez une tâche de formation via l'interface utilisateur de Studio, une MLflow application par défaut est créée automatiquement et sélectionnée par défaut dans les options avancées.

Utilisation de la CLI : si vous utilisez la CLI, vous devez créer une MLflow application et la transmettre comme entrée à la demande d'API de la tâche de formation.

mlflow_app_name="<enter your MLflow app name>"  
role_arn="<enter your role ARN>"   
bucket_name="<enter your bucket name>"   
region="<enter your region>"  
  
mlflow_app_arn=$(aws sagemaker create-mlflow-app \  
  --name $mlflow_app_name \  
  --artifact-store-uri "s3://$bucket_name" \  
  --role-arn $role_arn \  
  --region $region)

Accédez à l' MLflow application

À l'aide de la CLI : créez une URL présignée pour accéder à l'interface utilisateur de l' MLflow application :

aws sagemaker create-presigned-mlflow-app-url \  
  --arn $mlflow_app_arn \  
  --region $region \  
  --output text

Utilisation de l'interface utilisateur de Studio : l'interface utilisateur de Studio affiche les indicateurs clés enregistrés MLflow et fournit un lien vers l'interface utilisateur de MLflow l'application.

Indicateurs clés à suivre

Surveillez ces indicateurs au fil des itérations pour évaluer les améliorations et suivre l'avancement des travaux :

Pour SFT

Pour RFT

Général

Déterminer quand s'arrêter

Arrêtez d'itérer lorsque :

Pour les procédures d'évaluation détaillées, reportez-vous à la section Évaluation.

Bonnes pratiques

Commencez petit et agrandissez progressivement

Commencez avec un minimum d'ensembles de données et des périodes d'entraînement uniques pour valider votre approche avant de la mettre à l'échelle. Cela renforce la confiance et aide à identifier les problèmes à un stade précoce.

Établissez des indicateurs de réussite clairs

Définissez des indicateurs quantitatifs et qualitatifs avant de commencer :

Exemples de mesures de réussite par cas d'utilisation

Mettre en œuvre une évaluation automatisée

Configurez des pipelines d'évaluation automatisés pour suivre les performances après chaque cycle, ce qui permet une itération rapide et une comparaison objective.

Maintenez un contrôle rigoureux des versions

Document pour chaque itération :

Cela renforce les connaissances institutionnelles et permet le débogage.

Concentrez-vous sur la qualité des données plutôt que sur la quantité

Analysez les cas d'échec des cycles précédents et ajoutez des exemples ciblés et de haute qualité au lieu de simplement augmenter la taille du jeu de données.

Planifier le budget d'itération

Prévoyez 3 à 5 itérations comme intervalle typique :

Ajustez en fonction du budget informatique et des taux d'amélioration des performances.

Mettre en œuvre des fonctionnalités de rétrogradation

Si une itération introduit des régressions :

Exemple de rétrogradation

run:  
  name: "rollback-to-iteration-2"  
  model_type: amazon.nova-2-lite-v1:0:256k  
  # Use iteration 2 checkpoint instead of failed iteration 3  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<iteration-2-job-name>"

Considérations de coût

Stockage aux points de contrôle

Conseils d'optimisation des coûts

Limitations

Cohérence des familles de modèles

Lors d'un entraînement itératif, vous devez utiliser le même type de modèle pour toutes les itérations.

Formation initiale

run:  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: "nova-lite-2/prod"

Les itérations suivantes doivent utiliser le même model_type

run:  
  model_type: amazon.nova-2-lite-v1:0:256k  # Must match original  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<job-name>"

Cohérence des techniques d'entraînement

La technique d'entraînement doit rester cohérente d'une itération à l'autre :

Comment fonctionnent les adaptateurs LoRa dans l'entraînement itératif

Matrice de compatibilité technique

Vérifier la compatibilité avant de commencer une tâche

Résolution des problèmes

Erreur : « Des techniques d'entraînement de modèles incompatibles ont été détectées »

Cause : La technique d'entraînement (LoRa contre Full-Rank) ne correspond pas à la technique du point de contrôle.

Résolution : Assurez-vous que votre recette utilise la même technique d'entraînement que le modèle original :

Erreur : « Le modèle de base de la tâche extraite de model_name_or_path ne correspond pas à model_type »

Cause : Le type de modèle spécifié dans model_type ne correspond pas au modèle réel du point de contrôle.

Résolution : Vérifiez que :

Exemple de configuration correcte

run:  
  model_type: amazon.nova-2-lite-v1:0:256k  # Must match checkpoint's model  
  model_name_or_path: "s3://customer-escrow-<account-number>-smtj-<unique-identifier>/<job-name>"

Erreur : « Configuration du modèle introuvable »

Cause : Le chemin d'entrée S3 n'model_name_or_pathest pas valide ou est inaccessible.

Résolution :

Régression des performances après itération

Symptômes : les indicateurs d'évaluation diminuent après une nouvelle itération d'entraînement.

Résolution :