Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Personalización de Amazon Nova en Amazon SageMaker HyperPod
Puedes personalizar los modelos de Amazon Nova, incluidos los modelos Nova 2.0 mejorados, con las recetas de Amazon Nova y entrenarlos en Amazon SageMaker HyperPod. Una receta es un archivo de configuración YAML que proporciona detalles a SageMaker AI sobre cómo ejecutar el trabajo de personalización de modelos. Amazon SageMaker HyperPod admite dos tipos de servicios: Forge y no Forge.
Amazon SageMaker HyperPod ofrece informática de alto rendimiento con instancias de GPU optimizadas y almacenamiento Amazon FSx for Lustre, una supervisión sólida mediante la integración con herramientas como TensorBoard la gestión flexible de puntos de control para una mejora iterativa, una implementación perfecta en Amazon Bedrock para realizar inferencias y una formación distribuida eficiente y escalable de varios nodos, todo ello en conjunto para proporcionar a las organizaciones un entorno seguro, de alto rendimiento y flexible para adaptar los modelos Nova a sus requisitos empresariales específicos.
La personalización de Amazon Nova en Amazon SageMaker HyperPod almacena los artefactos del modelo, incluidos los puntos de control del modelo, en un bucket de Amazon S3 administrado por el servicio. Los artefactos del depósito administrado por el servicio se cifran con claves administradas. SageMaker AWS KMS Los buckets de Amazon S3 administrados por servicios no son compatibles actualmente con el cifrado de datos utilizando claves administradas por el cliente. Puede usar esta ubicación de punto de control para trabajos de evaluación o inferencias de Amazon Bedrock.
Se pueden aplicar precios estándar a las instancias de cómputo, al almacenamiento de Amazon S3 y FSx a Lustre. Para obtener más información sobre los SageMaker HyperPodprecios, consulte los precios
Requisitos informáticos para los modelos Amazon Nova 1
En las siguientes tablas se resumen los requisitos computacionales SageMaker HyperPod y la formación para los trabajos de formación en SageMaker IA para los modelos Nova 1.0.
Modelo |
Longitud de secuencia |
Nodos |
Instancia |
Acelerador |
|---|---|---|---|---|
Amazon Nova Micro |
8 192 |
8 |
ml.p5.48xlarge |
GPU H100 |
Amazon Nova Lite |
8 192 |
16 |
ml.p5.48xlarge |
GPU H100 |
Amazon Nova Pro |
8 192 |
12 |
ml.p5.48xlarge |
GPU H100 |
Modelo |
Longitud de secuencia |
Número de nodos |
Instancia |
Acelerador |
|---|---|---|---|---|
Optimización de preferencias directas (completa) |
32 768 |
2, 4 o 6 |
ml.p5.48xlarge |
GPU H100 |
Optimización de preferencias directas (LoRA) |
32 768 |
2, 4 o 6 |
ml.p5.48xlarge |
GPU H100 |
Modelo |
Técnica |
Longitud de secuencia |
Número de nodos |
Instancia |
Acelerador |
|---|---|---|---|---|---|
| Amazon Nova 1 Micro |
Refinamiento supervisado (LoRA) |
65.536 |
2 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Micro |
Refinamiento supervisado (completo) |
65.536 |
2 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Lite |
Refinamiento supervisado (LoRA) |
32 768 |
4 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Lite |
Refinamiento supervisado (completo) |
65.536 |
4 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Pro |
Refinamiento supervisado (LoRA) |
65.536 |
6 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Pro |
Refinamiento supervisado (completo) |
65.536 |
6 |
ml.p5.48xlarge |
GPU H100 |
Modelo |
Nodos |
Instancia |
|---|---|---|
Destilación de modelos para entrenamiento posterior |
1 |
ml.r5.24xlarge |
Modelo |
Longitud de secuencia |
Nodos |
Instancia |
Acelerador |
|---|---|---|---|---|
Fórmula de referencia de texto general |
8 192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Fórmula de referencia de uso de conjunto de datos propio (gen_qa) |
8 192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Fórmula de LLM como juez de Amazon Nova |
8 192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Referencias de texto estándar |
8 192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Evaluación de conjuntos de datos personalizados |
8 192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Referencias multimodales |
8 192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Modelo |
Número de instancias de modelos críticos |
Número de instancias de modelos de recompensa |
Número de instancias de modelos de posicionador |
Entrenamiento de actores |
Generación de actores |
Número de instancias |
Total de horas por ejecución |
Horas P5 |
Tipo de instancia |
|---|---|---|---|---|---|---|---|---|---|
Amazon Nova Micro |
1 |
1 |
1 |
2 |
2. |
7 |
8 |
56 |
ml.p5.48xlarge |
Amazon Nova Lite |
1 |
1 |
1 |
2 |
2. |
7 |
16 |
112 |
ml.p5.48xlarge |
Amazon Nova Pro |
1 |
1 |
1 |
6 |
2 |
11 |
26 |
260 |
ml.p5.48xlarge |
Requisitos informáticos para los modelos Amazon Nova 2
En las siguientes tablas se resumen los requisitos computacionales SageMaker HyperPod y la capacitación laboral en SageMaker IA para los modelos Nova 2.
Técnica de entrenamiento |
Instancias mínimas |
Tipo de instancia |
Recuento de GPU |
Notas |
|---|---|---|---|---|
SFT (LoRa) |
4 |
P5.48 x grande |
16 |
Ajuste preciso con eficiencia de parámetros |
SFT (rango completo) |
4 |
P5.48 x grande |
32 |
Ajuste de precisión del modelo completo |
RFT sobre trabajos de formación en SageMaker IA (LoRa) |
2 |
P5.48 x grande |
16 |
Funciones de recompensa personalizadas en su entorno AWS |
RFT sobre trabajos de formación en SageMaker IA (clasificación completa) |
4 |
P5.48 x Large |
32 |
32 K de longitud de contexto |
RFT activado SageMaker HyperPod |
8 |
P5.48 x grande |
64 |
Longitud de contexto predeterminada: 8192 |
CPT |
2 |
P5.48xLarge |
16 |
Procesa aproximadamente 1,25 mil millones de fichas por día |