Personalización de Amazon Nova en Amazon SageMaker HyperPod - Amazon SageMaker AI

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Personalización de Amazon Nova en Amazon SageMaker HyperPod

Puedes personalizar los modelos de Amazon Nova, incluidos los modelos Nova 2.0 mejorados, con las recetas de Amazon Nova y entrenarlos en Amazon SageMaker HyperPod. Una receta es un archivo de configuración YAML que proporciona detalles a SageMaker AI sobre cómo ejecutar el trabajo de personalización de modelos. Amazon SageMaker HyperPod admite dos tipos de servicios: Forge y no Forge.

Amazon SageMaker HyperPod ofrece informática de alto rendimiento con instancias de GPU optimizadas y almacenamiento Amazon FSx for Lustre, una supervisión sólida mediante la integración con herramientas como TensorBoard la gestión flexible de puntos de control para una mejora iterativa, una implementación perfecta en Amazon Bedrock para realizar inferencias y una formación distribuida eficiente y escalable de varios nodos, todo ello en conjunto para proporcionar a las organizaciones un entorno seguro, de alto rendimiento y flexible para adaptar los modelos Nova a sus requisitos empresariales específicos.

La personalización de Amazon Nova en Amazon SageMaker HyperPod almacena los artefactos del modelo, incluidos los puntos de control del modelo, en un bucket de Amazon S3 administrado por el servicio. Los artefactos del depósito administrado por el servicio se cifran con claves administradas. SageMaker AWS KMS Los buckets de Amazon S3 administrados por servicios no son compatibles actualmente con el cifrado de datos utilizando claves administradas por el cliente. Puede usar esta ubicación de punto de control para trabajos de evaluación o inferencias de Amazon Bedrock.

Se pueden aplicar precios estándar a las instancias de cómputo, al almacenamiento de Amazon S3 y FSx a Lustre. Para obtener más información sobre los SageMaker HyperPodprecios, consulte los precios, los precios de Amazon S3 y FSx los precios de Lustre.

Requisitos informáticos para los modelos Amazon Nova 1

En las siguientes tablas se resumen los requisitos computacionales SageMaker HyperPod y la formación para los trabajos de formación en SageMaker IA para los modelos Nova 1.0.

Entrenamiento previo

Modelo

Longitud de secuencia

Nodos

Instancia

Acelerador

Amazon Nova Micro

8 192

8

ml.p5.48xlarge

GPU H100

Amazon Nova Lite

8 192

16

ml.p5.48xlarge

GPU H100

Amazon Nova Pro

8 192

12

ml.p5.48xlarge

GPU H100

Optimización de preferencias directas (DPO)

Modelo

Longitud de secuencia

Número de nodos

Instancia

Acelerador

Optimización de preferencias directas (completa)

32 768

2, 4 o 6

ml.p5.48xlarge

GPU H100

Optimización de preferencias directas (LoRA)

32 768

2, 4 o 6

ml.p5.48xlarge

GPU H100

Ajuste

Modelo

Técnica

Longitud de secuencia

Número de nodos

Instancia

Acelerador

Amazon Nova 1 Micro

Refinamiento supervisado (LoRA)

65.536

2

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Micro

Refinamiento supervisado (completo)

65.536

2

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Lite

Refinamiento supervisado (LoRA)

32 768

4

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Lite

Refinamiento supervisado (completo)

65.536

4

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Pro

Refinamiento supervisado (LoRA)

65.536

6

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Pro

Refinamiento supervisado (completo)

65.536

6

ml.p5.48xlarge

GPU H100

Destilación

Modelo

Nodos

Instancia

Destilación de modelos para entrenamiento posterior

1

ml.r5.24xlarge

Evaluación

Modelo

Longitud de secuencia

Nodos

Instancia

Acelerador

Fórmula de referencia de texto general

8 192

1

ml.p5.48xlarge

GPU H100

Fórmula de referencia de uso de conjunto de datos propio (gen_qa)

8 192

1

ml.p5.48xlarge

GPU H100

Fórmula de LLM como juez de Amazon Nova

8 192

1

ml.p5.48xlarge

GPU H100

Referencias de texto estándar

8 192

1

ml.p5.48xlarge

GPU H100

Evaluación de conjuntos de datos personalizados

8 192

1

ml.p5.48xlarge

GPU H100

Referencias multimodales

8 192

1

ml.p5.48xlarge

GPU H100

Optimización de políticas proximales

Modelo

Número de instancias de modelos críticos

Número de instancias de modelos de recompensa

Número de instancias de modelos de posicionador

Entrenamiento de actores

Generación de actores

Número de instancias

Total de horas por ejecución

Horas P5

Tipo de instancia

Amazon Nova Micro

1

1

1

2

2.

7

8

56

ml.p5.48xlarge

Amazon Nova Lite

1

1

1

2

2.

7

16

112

ml.p5.48xlarge

Amazon Nova Pro

1

1

1

6

2

11

26

260

ml.p5.48xlarge

Requisitos informáticos para los modelos Amazon Nova 2

En las siguientes tablas se resumen los requisitos computacionales SageMaker HyperPod y la capacitación laboral en SageMaker IA para los modelos Nova 2.

Requisitos de formación de Nova 2

Técnica de entrenamiento

Instancias mínimas

Tipo de instancia

Recuento de GPU

Notas

SFT (LoRa)

4

P5.48 x grande

16

Ajuste preciso con eficiencia de parámetros

SFT (rango completo)

4

P5.48 x grande

32

Ajuste de precisión del modelo completo

RFT sobre trabajos de formación en SageMaker IA (LoRa)

2

P5.48 x grande

16

Funciones de recompensa personalizadas en su entorno AWS

RFT sobre trabajos de formación en SageMaker IA (clasificación completa)

4

P5.48 x Large

32

32 K de longitud de contexto

RFT activado SageMaker HyperPod

8

P5.48 x grande

64

Longitud de contexto predeterminada: 8192

CPT

2

P5.48xLarge

16

Procesa aproximadamente 1,25 mil millones de fichas por día