Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Personalizzazione di Amazon Nova su Amazon SageMaker HyperPod
Puoi personalizzare i modelli Amazon Nova, inclusi i modelli Nova 2.0 migliorati, utilizzando le ricette di Amazon Nova e addestrarli su Amazon SageMaker HyperPod. Una ricetta è un file di configurazione YAML che fornisce dettagli all' SageMaker IA su come eseguire il processo di personalizzazione del modello. Amazon SageMaker HyperPod supporta due tipi di servizi: Forge e non-Forge.
Amazon SageMaker HyperPod offre elaborazione ad alte prestazioni con istanze GPU ottimizzate e storage Amazon FSx for Lustre, monitoraggio affidabile attraverso l'integrazione con strumenti come la gestione flessibile dei checkpoint per il miglioramento iterativo TensorBoard, la distribuzione senza interruzioni su Amazon Bedrock per l'inferenza e una formazione distribuita efficiente e scalabile a più nodi, il tutto in sinergia per fornire alle organizzazioni un ambiente sicuro, performante e flessibile per personalizzare i modelli Nova in base ai loro requisiti aziendali specifici.
La personalizzazione di Amazon Nova su Amazon SageMaker HyperPod archivia gli artefatti del modello, inclusi i checkpoint del modello, in un bucket Amazon S3 gestito dal servizio. Gli artefatti nel bucket gestito dal servizio sono crittografati con chiavi gestite. SageMaker AWS KMS I bucket Amazon S3 gestiti dal servizio attualmente non supportano la crittografia dei dati tramite chiavi KMS gestite dal cliente. È possibile utilizzare questa posizione di checkpoint per processi di valutazione o per l’inferenza Amazon Bedrock.
I prezzi standard possono essere applicati per le istanze di calcolo, lo storage Amazon S3 e Lustre. FSx Per i dettagli sui prezzi, consulta SageMaker HyperPodi prezzi, i prezzi
Requisiti di calcolo per i modelli Amazon Nova 1
Le tabelle seguenti riassumono i requisiti computazionali SageMaker HyperPod e la formazione per i lavori di formazione sull' SageMaker intelligenza artificiale per i modelli Nova 1.0.
Modello |
Lunghezza della sequenza |
Nodi |
Istanza |
Accelerator |
|---|---|---|---|---|
Amazon Nova Micro |
8,192 |
8 |
ml.p5.48xlarge |
GPU H100 |
Amazon Nova Lite |
8,192 |
16 |
ml.p5.48xlarge |
GPU H100 |
Amazon Nova Pro |
8,192 |
12 |
ml.p5.48xlarge |
GPU H100 |
Modello |
Lunghezza della sequenza |
Numero di nodi |
Istanza |
Accelerator |
|---|---|---|---|---|
Ottimizzazione diretta delle preferenze (completa) |
32,768 |
2, 4 o 6 |
ml.p5.48xlarge |
GPU H100 |
Ottimizzazione diretta delle preferenze (LoRA) |
32,768 |
2, 4 o 6 |
ml.p5.48xlarge |
GPU H100 |
Modello |
Tecnica |
Lunghezza della sequenza |
Numero di nodi |
Istanza |
Accelerator |
|---|---|---|---|---|---|
| Amazon Nova 1 Micro |
Fine-tuning supervisionato (LoRA) |
65.536 |
2 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Micro |
Fine-tuning supervisionato (completo) |
65.536 |
2 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Lite |
Fine-tuning supervisionato (LoRA) |
32,768 |
4 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Lite |
Fine-tuning supervisionato (completo) |
65.536 |
4 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Pro |
Fine-tuning supervisionato (LoRA) |
65.536 |
6 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Pro |
Fine-tuning supervisionato (completo) |
65.536 |
6 |
ml.p5.48xlarge |
GPU H100 |
Modello |
Nodi |
Istanza |
|---|---|---|
Distillazione di modelli per il post-addestramento |
1 |
ml.r5.24xlarge |
Modello |
Lunghezza della sequenza |
Nodi |
Istanza |
Accelerator |
|---|---|---|---|---|
Ricetta di benchmark testuali generali |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Ricetta di benchmark Bring-Your-Own-Dataset (gen_qa) |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Ricetta Amazon Nova LLM-as-a-judge |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Benchmark testuali standard |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Valutazione dei set di dati personalizzati |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Benchmark multimodali |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Modello |
Numero di istanze del modello di critica |
Numero di istanze del modello di ricompensa |
Numero di istanze del modello di ancoraggio |
Addestramento attori |
Generazione attori |
Numero di istanze |
Ore totali per esecuzione |
Ore P5 |
Tipo di istanza |
|---|---|---|---|---|---|---|---|---|---|
Amazon Nova Micro |
1 |
1 |
1 |
2 |
2 |
7 |
8 |
56 |
ml.p5.48xlarge |
Amazon Nova Lite |
1 |
1 |
1 |
2 |
2 |
7 |
16 |
112 |
ml.p5.48xlarge |
Amazon Nova Pro |
1 |
1 |
1 |
6 |
2 |
11 |
26 |
260 |
ml.p5.48xlarge |
Requisiti di calcolo per i modelli Amazon Nova 2
Le tabelle seguenti riassumono i requisiti computazionali SageMaker HyperPod e i lavori di formazione sull' SageMaker intelligenza artificiale per i modelli Nova 2.
Tecnica di allenamento |
Istanze minime |
Tipo di istanza |
Numero di GPU |
Note |
|---|---|---|---|---|
SFT (LoRa) |
4 |
P5,48 x grande |
16 |
Regolazione di precisione efficiente dal punto di vista dei parametri |
SFT (Full Rank) |
4 |
P5,48 x grande |
32 |
Ottimizzazione completa del modello |
RFT su SageMaker AI Training Jobs (LoRa) |
2 |
P5,48 x grande |
16 |
Funzioni di ricompensa personalizzate nel tuo ambiente AWS |
RFT su SageMaker AI Training Jobs (Full Rank) |
4 |
P5,48 x grande |
32 |
Lunghezza del contesto 32K |
RFT attivo SageMaker HyperPod |
8 |
P5.48 x grande |
64 |
Lunghezza predefinita del contesto 8192 |
CPT |
2 |
P5.48xLarge |
16 |
Elabora circa 1,25 miliardi di token al giorno |
Argomenti
