Fórmulas de Amazon Nova - Amazon SageMaker AI

Fórmulas de Amazon Nova

Puede obtener una fórmula de Amazon Nova en el repositorio de fórmulas de SageMaker HyperPod. Una fórmula de Nova es un archivo de configuración YAML que proporciona detalles a SageMaker AI respecto de cómo ejecutar el trabajo de personalización de modelos. Proporciona el nombre del modelo base, establece los hiperparámetros de entrenamiento, define la configuración de optimización e incluye todas las opciones adicionales necesarias para refinar o entrenar el modelo correctamente.

También puede acceder a las fórmulas de Nova a través de Amazon SageMaker Studio y Estudio unificado de Amazon SageMaker navegando hasta el centro de modelos de JumpStart, seleccionando AWS y explorando los modelos de Amazon Nova para encontrar sus fórmulas asociadas. Tanto Amazon SageMaker Studio como Estudio unificado de Amazon SageMaker proporcionan cuadernos de muestra para cada fórmula, que incluyen todos los pasos necesarios para modificar las fórmulas y ejecutar trabajos de personalización mediante trabajos de entrenamiento de SageMaker AI o entornos Amazon SageMaker HyperPod.

Para acceder a las páginas de fórmulas de Amazon SageMaker Studio, el rol de ejecución debe tener los siguientes permisos.

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetObject" ], "Resource": [ "arn:aws:s3:::*model-customization-recipes*" ] } ] }

Para ejecutar los cuadernos de muestra en los trabajos de entrenamiento de SageMaker y en SageMaker HyperPod, utilice una de las siguientes versiones de imágenes de distribución de SageMaker: 2.7.1+, 2.8.0+, 3.2.1+, 3.3.0+. Esto se aplica a Amazon SageMaker Studio y a Estudio unificado de Amazon SageMaker.

Obtención de fórmulas de Amazon Nova

Para obtener una fórmula básica de Amazon Nova, clone el repositorio de fórmulas de HyperPod de SageMaker ejecutando el siguiente comando.

git clone https://github.com/aws/sagemaker-hyperpod-recipes.git

Las fórmulas básicas están disponibles en recipes_collection/recipes/.

cd recipes_collection/recipes/

Las fórmulas de personalización de Amazon Nova se encuentran en las siguientes carpetas.

Tipo de fórmula Carpeta
SFT (rango completo y PEFT), PPO, DPO (rango completo y PEFT) fine-tuning/nova
Evaluación evaluation/nova
CPT training/nova

Modelos y algoritmos disponibles

En la siguiente tabla se resume la disponibilidad de personalización para los modelos de Amazon Nova y los algoritmos compatibles con SageMaker AI.

Nombre de modelo

ID del modelo

Ajuste

Notas

Amazon Nova Micro

amazon.nova-micro-v1:0:128k

For both SFT and DPO, this model accepts text as input and produces text as output only.

Amazon Nova Lite

amazon.nova-lite-v1:0:300k

  • SFT: acepta texto o imagen, o texto o vídeo como entrada y produce texto como salida. Un único trabajo no puede combinar texto, imagen y vídeo en la misma ejecución.

  • DPO: acepta texto e imagen como entrada y produce texto como salida.

Amazon Nova Pro

amazon.nova-pro-v1:0:300k

  • SFT: acepta texto o imagen, o texto o vídeo como entrada y produce texto como salida. Un único trabajo no puede combinar texto, imagen y vídeo en la misma ejecución.

  • DPO: acepta texto e imagen como entrada y produce texto como salida.

Referencia de fórmulas de Amazon Nova

En la siguiente tabla se muestra información detallada de la referencia de fórmulas de Amazon Nova.

Modelo Categoría/subcategoría Técnica Nombre de la fórmula URI de imagen (trabajos de entrenamiento de SageMaker) URI de imagen (SageMaker HyperPod) Instancia de computación
Nova Lite Entrenamiento/refinamiento

Refinamiento supervisado (LoRA)

nova_lite_p5_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge
Nova Lite Entrenamiento/refinamiento

Refinamiento supervisado (completo)

nova_lite_p5_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge
Nova Lite Entrenamiento/refinamiento

Optimización de preferencias directas (completa)

nova_lite_p5_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge
Nova Lite Entrenamiento/refinamiento

Optimización de preferencias directas (LoRA)

nova_lite_p5_gpu_lora_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge
Nova Lite Entrenamiento/aprendizaje por refuerzo

Aprendizaje por refuerzo basado en recompensas (PPO)

nova_lite_p5_gpu_ppo.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge
Nova Lite Entrenamiento/entrenamiento previo continuo Entrenamiento previo continuo (modelo básico) nova_lite_gpu_p5x16_pretrain.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Lite Evaluación/evaluar Referencias de texto estándar nova_lite_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite Evaluación/evaluar

Evaluación de conjuntos de datos personalizados

nova_lite_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite Evaluación/evaluar

Puntos de referencia multimodales

nova_lite_p5_48_general_multi_modal_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite Evaluación/evaluar

LLM como juez

nova_lite_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Micro Entrenamiento/refinamiento

Refinamiento supervisado (LoRA)

nova_micro_g5_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest n/a ml.g5.12xlarge
Nova Micro Entrenamiento/refinamiento

Refinamiento supervisado (LoRA)

nova_micro_p5_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge
Nova Micro Entrenamiento/refinamiento

Refinamiento supervisado (completo)

nova_micro_p5_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge
Nova Micro Entrenamiento/refinamiento

Optimización de preferencias directas (completa)

nova_micro_p5_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge
Nova Micro Entrenamiento/refinamiento

Optimización de preferencias directas (LoRA)

nova_micro_p5_gpu_lora_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge
Nova Micro Entrenamiento/aprendizaje por refuerzo

Aprendizaje por refuerzo basado en recompensas (PPO)

nova_micro_p5_gpu_ppo.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge
Nova Micro Entrenamiento/entrenamiento previo continuo Entrenamiento previo continuo (modelo básico) nova_micro_gpu_p5x8_pretrain.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Micro Evaluación/evaluar Referencia de texto general nova_micro_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Micro Evaluación/evaluar

Referencia de uso de conjunto de datos propio (gen_qa)

nova_micro_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Micro Evaluación/evaluar

LLM como juez

nova_micro_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro Entrenamiento/refinamiento

Refinamiento supervisado (LoRA)

nova_pro_p5_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge
Nova Pro Entrenamiento/refinamiento

Refinamiento supervisado (completo)

nova_pro_p5_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge
Nova Pro Entrenamiento/refinamiento

Optimización de preferencias directas (completa)

nova_pro_p5_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge
Nova Pro Entrenamiento/refinamiento

Optimización de preferencias directas (LoRA)

nova_pro_p5_gpu_lora_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge
Nova Pro Entrenamiento/aprendizaje por refuerzo

Aprendizaje por refuerzo basado en recompensas (PPO)

nova_pro_p5_gpu_ppo.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge
Nova Pro Entrenamiento/entrenamiento previo continuo Entrenamiento previo continuo (modelo básico) nova_pro_gpu_p5x24_pretrain.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Pro Entrenamiento/aumento de datos Destilación de modelos para entrenamiento posterior nova_pro_r5_cpu_distill.yaml n/a 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-distillation-repo:SM-TJ-DISTILL-LATEST ml.r5.24xlarge
Nova Pro Evaluación/evaluar Referencias de texto estándar nova_pro_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro Evaluación/evaluar Evaluación de conjuntos de datos personalizados nova_pro_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro Evaluación/evaluar Puntos de referencia multimodales nova_pro_p5_48xl_general_multi_modal_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro Evaluación/evaluar LLM como juez nova_pro_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Premier Formación Destilación de modelos para entrenamiento posterior

nova_premier_r5_cpu_distill.yaml

708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-distillation-repo:SM-TJ-DISTILL-LATEST

n/a

ml.r5.24xlarge