Formules Amazon Nova - Amazon SageMaker AI

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Formules Amazon Nova

Vous pouvez obtenir une recette Amazon Nova depuis le référentiel de SageMaker HyperPod recettes. Une recette Nova est un fichier de configuration YAML qui fournit des détails à l' SageMaker IA sur la façon d'exécuter votre tâche de personnalisation de modèle. Il fournit le nom du modèle de base, définit les hyperparamètres d’entraînement, définit les paramètres d’optimisation et inclut toutes les options supplémentaires nécessaires pour optimiser ou entraîner le modèle avec succès.

Vous pouvez également accéder aux recettes Nova via Amazon SageMaker Studio et Amazon SageMaker Unified Studio en accédant au hub de JumpStart modèlesAWS, en sélectionnant et en parcourant les modèles Amazon Nova pour trouver les recettes associées. Amazon SageMaker Studio et Amazon SageMaker Unified Studio fournissent des exemples de blocs-notes pour chaque recette, qui incluent toutes les étapes nécessaires pour modifier les recettes et exécuter des tâches de personnalisation à l'aide de tâches de formation basées sur l' SageMaker IA ou SageMaker HyperPod des environnements Amazon.

Pour accéder aux pages de recettes dans Amazon SageMaker Studio, le rôle d'exécution doit disposer des autorisations suivantes.

JSON
{ "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetObject" ], "Resource": [ "arn:aws:s3:::*model-customization-recipes*" ] } ] }

Pour exécuter les exemples de blocs-notes sur des tâches de SageMaker formation SageMaker HyperPod, utilisez l'une des versions d'image de SageMaker distribution suivantes :2.7.1+,, 2.8.0+3.2.1+,3.3.0+. Cela s'applique à Amazon SageMaker Studio et à Amazon SageMaker Unified Studio.

Obtention de formules Amazon Nova

Pour obtenir une recette Amazon Nova de base, clonez le référentiel de SageMaker HyperPod recettes en exécutant la commande suivante.

git clone https://github.com/aws/sagemaker-hyperpod-recipes.git

Les formules de base sont disponibles sur recipes_collection/recipes/.

cd recipes_collection/recipes/

Les formules de personnalisation d’Amazon Nova se trouvent dans les dossiers suivants.

Type de formule Dossier
SFT (rang complet et PEFT), PPO, DPO (rang complet et PEFT) fine-tuning/nova
Évaluation evaluation/nova
CPT training/nova

Modèles et algorithmes disponibles

Le tableau suivant résume la disponibilité de la personnalisation pour les modèles Amazon Nova et les algorithmes pris en charge à l'aide de l' SageMaker IA.

Nom du modèle

ID du modèle

Peaufinage

Remarques

Amazon Nova Micro

amazon. nova-micro-v1:40:128 km

Oui

Pour SFT, DPO et RFT, ce modèle accepte le texte en entrée et produit du texte en sortie uniquement.

Amazon Nova Lite

amazon. nova-lite-v1:30:300 km

Oui

  • SFT - Accepte une and/or image texte ou un texte and/or vidéo en entrée et produit du texte en sortie. Une même tâche ne peut pas combiner du texte, une image et une vidéo au cours d’une même exécution.

  • DPO - Accepte le texte et l’image en entrée et produit du texte en sortie.

  • RFT - Accepte le texte et l'image en entrée pour les conversations à tour unique et produit du texte en sortie.

Amazon Nova Pro

amazon. nova-pro-v1:30:300 km

Oui

  • SFT - Accepte une and/or image texte ou un texte and/or vidéo en entrée et produit du texte en sortie. Une même tâche ne peut pas combiner du texte, une image et une vidéo au cours d’une même exécution.

  • DPO - Accepte le texte et l’image en entrée et produit du texte en sortie.

  • RFT - Accepte le texte et l'image en entrée pour les conversations à tour unique et produit du texte en sortie.

Amazon Nova Lite 2.0

amazon. nova-lite-v2:30:300 km

Oui

  • SFT - Accepte une and/or image texte ou un texte and/or vidéo en entrée et produit du texte en sortie. Une même tâche ne peut pas combiner du texte, une image et une vidéo au cours d’une même exécution.

  • DPO - Accepte le texte et l’image en entrée et produit du texte en sortie.

  • RFT - Accepte le texte et l'image en entrée pour les conversations à tour unique et produit du texte en sortie. Capacités d'optimisation des récompenses améliorées.

Référence des formules Amazon Nova

Les tableaux ci-dessous présentent des informations détaillées sur la référence des recettes Amazon Nova.

Le tableau ci-dessous répertorie les informations détaillées de la référence des recettes Amazon Nova Lite.

Modèle Catégorie/sous-catégorie Technique Nom de la recette URI de l'image (tâches de formation) URI de l'image (HyperPod) Instance de calcul
Nova Lite Entraînement/peaufinage

Peaufinage supervisé (LoRA)

nova_lite_p5_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-V2-latest ml.p5.48xlarge
Nova Lite Entraînement/peaufinage

Peaufinage supervisé (complet)

nova_lite_p5_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-V2-latest ml.p5.48xlarge
Nova Lite Entraînement/peaufinage

Optimisation directe des préférences (complète)

nova_lite_p5_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-V2-latest ml.p5.48xlarge
Nova Lite Entraînement/peaufinage

Optimisation directe des préférences (LoRA)

nova_lite_p5_gpu_lora_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-V2-latest ml.p5.48xlarge
Nova Lite Entraînement/apprentissage par renforcement

Réglage précis du renforcement (RFT)

nova_lite_rft.yaml N/A 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge
Nova Lite Entraînement/pré-entraînement continu Pré-entraînement continu (modèle de base) nova_lite_gpu_p5x16_pretrain.yaml N/A 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Lite Évaluation/évaluer Points de référence de texte standard nova_lite_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite Évaluation/évaluer

Évaluation de jeu de données personnalisé

nova_lite_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite Évaluation/évaluer

Points de référence multimodaux

nova_lite_p5_48_general_multi_modal_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite Évaluation/évaluer

LLM-juge

nova_lite_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite Entraînement/peaufinage

Peaufinage supervisé (LoRA)

nova_lite_g5_g6_12x_gpu_lora_sft.yaml nova_lite_g5_g6_48x_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-V2-latest N/A ml.g5.12xlarge, ml.g6.12xlarge, ml.g5.48xlarge, ml.g6.48xlarge
Nova Lite Entraînement/peaufinage DPO (LoRa) nova_lite_g5_g6_48x_gpu_lora_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-V2-latest N/A ml.g5.48xlarge, ml.g6.48xlarge

Le tableau ci-dessous répertorie les informations détaillées de la référence des recettes Nova 2.0 Lite.

Modèle Catégorie/sous-catégorie Technique Nom de la recette URI de l'image (tâches de formation) URI de l'image (HyperPod) Instance de calcul
Nova 2.0 Lite Entraînement Formation préalable continue nova_lite_2_0_p5x8_gpu_pretrain.yaml N/A 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-CPT-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite Réglage précis efficace des paramètres Peaufinage nova_lite_2_0_p5_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite Réglage précis complet Peaufinage nova_lite_2_0_p5_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite Paramètre RFT efficace Peaufinage nova_lite_v2_smtj_p5_p5en_gpu_lora_rft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-RFT-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-RFT-TRAIN-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite RFT à classement complet Peaufinage nova_lite_v2_smtj_p5en_gpu_rft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-RFT-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-RFT-TRAIN-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite Apportez vos propres données Évaluation nova_lite_2_0_p5_48xl_gpu_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite Benchmark textuel général Évaluation nova_lite_2_0_p5_48xl_gpu_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite Évaluation RFT Évaluation nova_lite_2_0_p5_48xl_gpu_rft_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite Juge basé sur des rubriques de LLM Évaluation nova_lite_2_0_p5_48xl_gpu_rubric_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge

Le tableau ci-dessous répertorie les informations détaillées de la référence des recettes Amazon Nova Micro.

Modèle Catégorie/sous-catégorie Technique Nom de la recette URI de l'image (tâches de formation) URI de l'image (HyperPod) Instance de calcul
Nova Micro Entraînement/peaufinage

Peaufinage supervisé (LoRA)

nova_micro_g5_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-V2-latest N/A ml.g5.12xlarge
Nova Micro Entraînement/peaufinage

Peaufinage supervisé (LoRA)

nova_micro_p5_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-V2-latest ml.p5.48xlarge
Nova Micro Entraînement/peaufinage

Peaufinage supervisé (complet)

nova_micro_p5_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-V2-latest ml.p5.48xlarge
Nova Micro Entraînement/peaufinage

Optimisation directe des préférences (complète)

nova_micro_p5_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-V2-latest ml.p5.48xlarge
Nova Micro Entraînement/peaufinage

Optimisation directe des préférences (LoRA)

nova_micro_p5_gpu_lora_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-V2-latest ml.p5.48xlarge
Nova Micro Entraînement/apprentissage par renforcement

Réglage précis du renforcement (RFT)

nova_micro_rft.yaml N/A 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge
Nova Micro Entraînement/pré-entraînement continu Pré-entraînement continu (modèle de base) nova_micro_gpu_p5x8_pretrain.yaml N/A 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Micro Évaluation/évaluer Point de référence de texte général nova_micro_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Micro Évaluation/évaluer

Apportez votre propre point de référence de jeu de données (gen_qa)

nova_micro_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Micro Évaluation/évaluer

LLM-juge

nova_micro_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Micro Entraînement/peaufinage

Peaufinage supervisé (LoRA)

nova_micro_g5_g6_12x_gpu_lora_sft.yaml nova_micro_g5_g6_48x_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-V2-latest N/A ml.g5.12xlarge, ml.g6.12xlarge, ml.g5.48xlarge, ml.g6.48xlarge
Nova Micro Entraînement/peaufinage

Réglage fin supervisé (FFT)

nova_micro_g5_g6_48x_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-V2-latest N/A ml.g5.48xlarge, ml.g6.48xlarge
Nova Micro Entraînement/peaufinage DPO (LoRa) nova_micro_g5_g6_12x_gpu_lora_dpo.yaml nova_micro_g5_g6_48x_gpu_lora_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-V2-latest N/A ml.g5.12xlarge, ml.g6.12xlarge, ml.g5.48xlarge, ml.g6.48xlarge

Le tableau ci-dessous répertorie les informations détaillées de la référence des recettes Amazon Nova Pro.

Modèle Catégorie/sous-catégorie Technique Nom de la recette URI de l'image (tâches de formation) URI de l'image (HyperPod) Instance de calcul
Nova Pro Entraînement/peaufinage

Peaufinage supervisé (LoRA)

nova_pro_p5_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-V2-latest ml.p5.48xlarge
Nova Pro Entraînement/peaufinage

Peaufinage supervisé (complet)

nova_pro_p5_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-V2-latest ml.p5.48xlarge
Nova Pro Entraînement/peaufinage

Optimisation directe des préférences (complète)

nova_pro_p5_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-V2-latest ml.p5.48xlarge
Nova Pro Entraînement/peaufinage

Optimisation directe des préférences (LoRA)

nova_pro_p5_gpu_lora_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-V2-latest ml.p5.48xlarge
Nova Pro Entraînement/apprentissage par renforcement

Réglage précis du renforcement (RFT)

nova_pro_rft.yaml N/A 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge
Nova Pro Entraînement/pré-entraînement continu Pré-entraînement continu (modèle de base) nova_pro_gpu_p5x24_pretrain.yaml N/A 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Pro Entraînement/augmentation des données Distillation de modèles pour post-entraînement nova_pro_r5_cpu_distill.yaml N/A 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-distillation-repo:SM-TJ-DISTILL-LATEST ml.r5.24xlarge
Nova Pro Évaluation/évaluer Points de référence de texte standard nova_pro_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro Évaluation/évaluer Évaluation de jeu de données personnalisé nova_pro_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro Évaluation/évaluer Points de référence multimodaux nova_pro_p5_48xl_general_multi_modal_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro Évaluation/évaluer LLM-juge nova_pro_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge

Le tableau ci-dessous répertorie les informations détaillées de la référence des recettes Amazon Nova Premier.

Modèle Catégorie/sous-catégorie Technique Nom de la recette URI de l'image (tâches de formation) URI de l'image (SageMaker HyperPod) Instance de calcul
Nova Premier Entraînement Distillation de modèles pour post-entraînement

nova_premier_r5_cpu_distill.yaml

708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-distillation-repo:SM-TJ-DISTILL-LATEST N/A ml.r5.24xlarge