View a markdown version of this page

Prenota piani di formazione flessibili per carichi di lavoro ML - Amazon SageMaker AI
Cosa sono i piani SageMaker di formazioneVantaggiPrenotazioneTipi di istanze supportati, Regioni AWS e prezziUltraServers nell'IA SageMakerComportamento di ricercaConsiderazioniFlusso di lavoro dell’utente

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Prenota piani di formazione flessibili per carichi di lavoro ML

I piani SageMaker di formazione Amazon sono una funzionalità che ti consente di riservare e contribuire a massimizzare l'uso della capacità GPU per i carichi di lavoro ML. Questa funzionalità fornisce l'accesso a tipi di istanze molto richiesti che coprono una vasta gamma di opzioni di GPU-accelerated elaborazione, tra cui le più recenti tecnologie GPU NVIDIA e i chip Trainium. AWS Con i piani di SageMaker formazione, puoi assicurarti un accesso prevedibile a queste risorse computazionali ad alte prestazioni e ad alta richiesta entro le tempistiche e i budget specificati, senza la necessità di gestire l'infrastruttura sottostante. Questa flessibilità è particolarmente utile per le organizzazioni che affrontano le sfide legate all’acquisizione e alla pianificazione di queste istanze di calcolo con un numero eccessivo di abbonamenti per i loro carichi di lavoro di IA mission-critical.

Cosa sono i SageMaker piani di formazione

SageMaker i piani di formazione consentono di riservare una capacità di calcolo personalizzata in base alle esigenze delle risorse target, ad esempio lavori di SageMaker formazione, SageMaker HyperPod cluster, endpoint di SageMaker inferenza o app Studio. SageMaker Il servizio gestisce automaticamente la prenotazione, il provisioning di risorse di calcolo accelerate, la configurazione dell’infrastruttura, l’esecuzione del carico di lavoro e il ripristino in caso di guasti dell’infrastruttura.

SageMaker i piani di formazione sono costituiti da uno o più blocchi di capacità riservata, ciascuno definito dai seguenti parametri:

  • Tipo di istanza specifico

  • Quantità di istanze

  • Zona di disponibilità

  • Durata

  • Ora di inizio e fine

Nota

  • I piani di formazione sono specifici per la risorsa di destinazione (SageMaker Training Job SageMaker HyperPod, endpoint SageMaker Inference o app SageMaker Studio) e non possono essere scambiati.

  • Più blocchi di capacità riservata in un unico piano di addestramento possono causare discontinuità. In altre parole, possono esserci dei vuoti tra i blocchi di capacità riservata.

Vantaggi dei piani di formazione SageMaker

SageMaker i piani di formazione offrono i seguenti vantaggi:

  • Accesso prevedibile: prenota la capacità della GPU per i tuoi carichi di lavoro di machine learning all’interno di intervalli di tempo specifici.

  • Gestione dei costi: pianifica e pianifica in anticipo i requisiti del carico di lavoro ML.

  • Gestione automatizzata delle risorse: i piani di SageMaker formazione gestiscono il provisioning e la gestione dell'infrastruttura.

  • Flessibilità: crea piani di formazione per varie risorse, tra cui lavori di SageMaker formazione, SageMaker HyperPod cluster, endpoint SageMaker Inference e app Studio. SageMaker

  • Tolleranza ai guasti: approfitta del ripristino automatico in caso di guasti dell'infrastruttura e della migrazione dei carichi di lavoro tra le zone di disponibilità per i lavori di formazione. SageMaker

SageMaker piani di formazione, prenotazione anticipata e orari di inizio flessibili

SageMaker i piani di formazione consentono di prenotare in anticipo la capacità di calcolo, con orari di inizio e durate flessibili.

  • Prenotazione anticipata: puoi prenotare un piano di addestramento fino a 8 settimane (56 giorni) prima della data di inizio.

  • Tempi di consegna minimi: le offerte relative ai piani di SageMaker formazione possono iniziare entro 30 minuti dalla prenotazione, in base alla disponibilità.

    Nota

    Puoi cercare e acquistare un piano che sarà accessibile entro 30 minuti. Per garantire un’attivazione tempestiva, la transazione di pagamento deve essere completata correttamente almeno 5 minuti prima dell’orario di inizio desiderato. Ad esempio, se desideri che un piano inizi alle 14:00, puoi effettuare una ricerca dell'ultimo minuto fino alle 13:30 e completare l'acquisto entro le 13:55, per assicurarti che il piano sia pronto entro le 14:00.

  • Durata della prenotazione e quantità di istanze: i piani SageMaker di formazione consentono di prenotare istanze con opzioni specifiche di durata e quantità. Per i tipi di istanze disponibili in un determinato periodo Regione AWS, le opzioni relative a durata e quantità, consultaTipi di istanze supportati, Regioni AWS e prezzi.

  • Orario di fine: i piani di addestramento terminano sempre alle 11:30 UTC dell’ultimo giorno della prenotazione.

  • Interruzione del piano di formazione: se utilizzi Training Jobs, endpoint Inference e app Studio come risorsa di destinazione e rimangono 30 minuti in una capacità riservata, i piani di SageMaker formazione avviano il processo di chiusura di tutte le istanze in esecuzione all'interno di quel blocco fino a quando non diventa attiva la successiva capacità riservata. Conservi l’accesso completo al tuo piano di addestramento fino a 30 minuti prima dell’ora di fine dell’ultimo blocco di capacità riservata.

    Se la risorsa di destinazione è un SageMaker HyperPod cluster, questo limite di tempo è di un'ora.

Tipi di istanze supportati, Regioni AWS e prezzi

I piani di addestramento supportano le prenotazioni per questi specifici tipi di istanze ad alte prestazioni, ciascuno disponibile in Regioni AWS selezionate:

  • ml.p4d.24xlarge

  • ml.p 5.4x large

  • ml.p5.48xlarge

  • ml.p5e.48xlarge

  • ml.p5en.48xlarge

  • ml.trn1.32xlarge

  • ml.trn2.48xlarge

  • ml.p6-b200.48xlarge

  • ml.p6-b300.48x grande

  • ml.g6.xlarge (contatta il tuo account manager)

  • ml.g6.4xlarge (contatta il tuo account manager)

UltraServers(Al momento non può essere acquistato in modalità self-service; contatta il tuo account manager.)

  • ml.p6e-gb200.36xlarge

  • ml.p6e-gb200.72xlarge

Nota

La disponibilità dei tipi di istanze può cambiare nel tempo. Per le informazioni più aggiornate sui tipi di istanze disponibili in base alla regione e sui rispettivi prezzi, consulta SageMaker Prezzi. Scorri verso il basso fino alla sezione Piani di formazione SageMaker HyperPod flessibili di Amazon in On-Demand Prezzi. Seleziona una Regione per visualizzare l’elenco dei tipi di istanze disponibili.

La disponibilità in più Regioni consente di scegliere la posizione più adatta per i carichi di lavoro, prendendo in considerazione fattori quali i requisiti di residenza dei dati e la vicinanza ad altri servizi AWS .

Importante

  • Puoi utilizzare i piani di SageMaker formazione per prenotare istanze con le seguenti opzioni di durata e quantità di istanze.

    • Le durate delle prenotazioni sono disponibili in incrementi di 1 giorno e vanno da 1 a 182 giorni.

    • Opzioni relative al numero di istanze della prenotazione: 1, 2, 4, 8, 16, 32 o 64.

  • Assicurati che i tuoi Training Jobs o le quote di HyperPod servizio consentano un numero massimo di istanze per tipo di istanze superiore al numero di istanze specificato nel tuo piano. Per visualizzare le quote correnti o richiedere un aumento della quota, consulta Visualizza le quote dei piani di SageMaker formazione utilizzando AWS console di gestione.

UltraServers nell'IA SageMaker

UltraServers in SageMaker AI offrono una serie di istanze interconnesse tramite un dominio di rete ad alta larghezza di banda. Ad esempio, P6e-GB200 UltraServer connette fino a 18 p6e-gb200.36xlarge istanze in un dominio NVIDIA NVLink. Con 4 GPU NVIDIA Blackwell per istanza, ciascuna P6e-GB200 UltraServer supporta 72 GPU, così puoi eseguire i tuoi maggiori carichi di lavoro di intelligenza artificiale con prestazioni elevate sull'IA. SageMaker

Quando utilizzi l' SageMaker intelligenza artificiale, ottieni prestazioni combinate UltraServers con l'infrastruttura gestita dall' SageMaker IA, le funzionalità integrate di resilienza ai guasti, le funzionalità di monitoraggio integrate e l'integrazione nativa con altri servizi e intelligenza artificiale. SageMaker AWS Questa integrazione ti consente di concentrarti sullo sviluppo e sull'implementazione dei modelli, mentre l' SageMaker IA si occupa del peso indifferenziato della gestione dell'infrastruttura di intelligenza artificiale.

Nota

UltraServers sono disponibili solo nella zona locale di Dallas (us-east-1-dfw-2a), che è un'estensione della regione Stati Uniti orientali (Virginia settentrionale). Per ulteriori Zona locale AWS informazioni, vedere Guida introduttiva a s

Considerazioni

Quando utilizzi UltraServers l' SageMaker intelligenza artificiale, considera quanto segue:

  • Puoi utilizzarlo sia UltraServers SageMaker HyperPod per lavori di formazione che per lavori di SageMaker formazione.

  • È possibile acquistare UltraServers solo unità complete. Per ulteriori informazioni sulle istanze e sui prezzi, consulta i piani di formazione SageMaker HyperPod flessibili di Amazon nella sezione Prezzi di Amazon SageMaker AI.

  • Se utilizzi UltraServers with HyperPod, aggiunge HyperPod automaticamente etichette di topologia alle tue risorse per aiutarti nell'allocazione delle risorse. Per ulteriori informazioni, consulta Utilizzo della pianificazione basata sulla topologia in Amazon. SageMaker HyperPod

  • SageMaker Intelligenza artificiale e UltraServers offri varie funzionalità che migliorano la resilienza dei carichi di lavoro, tra cui controlli preventivi e rilevamento e mitigazione automatici dei guasti. A seconda del problema, l' SageMaker intelligenza artificiale può eseguire azioni per ripristinare i carichi di lavoro, ad esempio riavviare le istanze, sostituire le istanze guaste con quelle di riserva e sostituire le istanze non riuscite. UltraServers

  • Per una maggiore resilienza, puoi configurare le istanze all'interno di una da utilizzare come parti di riserva. UltraServer Mantenere all'interno un'istanza di riserva UltraServer garantisce che l' SageMaker IA possa rispondere rapidamente al guasto di un'istanza, riducendo al minimo l'impatto sui processi. Ti consigliamo di conservare un'istanza di riserva per. UltraServer Non è necessario riservare alcuna istanza di riserva, ma in questo caso si limitano le opzioni di supporto e si rallenta il ripristino in caso di problemi. L'acquisto UltraServers viene effettuato in pezzi interi, quindi il numero di pezzi di ricambio prenotati non influisce sui prezzi.

  • Per visualizzare lo stato e le istanze all'interno di un UltraServer, utilizza l'operazione ListTrainingPlans API o la AWS console per visualizzare i piani di formazione. Con questi strumenti, puoi visualizzare il numero totale di istanze disponibili, le istanze attualmente in uso, le istanze non integre, il numero di unità di riserva configurate e altre informazioni. Gli stati di integrità possibili sono ok, impaired e insufficient-data.

SageMaker comportamento di ricerca dei piani di formazione

Quando si cerca un'offerta di piani di formazione, i piani di SageMaker formazione utilizzano il seguente approccio per massimizzare la disponibilità e la flessibilità delle risorse per gli utenti, anche quando la domanda è elevata e i blocchi di capacità riservata sono scarsi:

  • Ricerca continua iniziale: i piani di SageMaker formazione cercano innanzitutto di trovare un singolo blocco continuo di capacità riservata che corrisponda alla durata specificata entro le date di inizio e fine, soddisfacendo al contempo tutti gli altri criteri specificati, tra cui la risorsa di destinazione, il tipo di istanza richiesta e il numero di istanze.

  • Two-block ricerca: i piani di SageMaker formazione non restituiscono un risultato «nessuna capacità» se un singolo blocco continuo di capacità riservata che soddisfa tutti i criteri non è disponibile. Provano invece a rispondere automaticamente alla richiesta utilizzando due blocchi di capacità riservata separati, suddividendo la durata totale in due segmenti temporali.

    Questo approccio a due blocchi offre una maggiore flessibilità nell’allocazione delle risorse perché rende possibile ottenere istanze ad alta richiesta che altrimenti non sarebbero disponibili.

Nota

SageMaker i piani di formazione restituiscono fino a tre offerte di uno o due segmenti. Ad esempio, per un piano della durata di 48 ore, i piani di SageMaker formazione potrebbero offrire un piano con due blocchi di 24 ore, un blocco continuo di 48 ore e due blocchi con durata irregolare.

Considerazioni

Importante

  • Gli acquisti del piano di formazione sono definitivi e non possono essere annullati.

  • I piani di formazione non possono essere modificati per aggiungere o rimuovere istanze; possono essere estesi solo a una nuova data di fine.

  • I piani di formazione non possono essere condivisi tra più AWS account o all'interno AWS dell'organizzazione.

  • Quando si cercano offerte per piani di formazione, i piani di SageMaker formazione adattano la propria strategia di ricerca in base a: target resources

    Per SageMaker HyperPod i cluster:

    • Le offerte sono limitate a una singola zona di disponibilità (AZ).

    • Questo garantisce prestazioni di rete e localizzazione dei dati coerenti all’interno del cluster.

    Per lavori SageMaker di formazione:

    • Le offerte possono essere distribuite su più zone di disponibilità.

    • Questo è particolarmente importante quando l’offerta del piano contiene più capacità riservate discontinue.

    • Ad esempio, un piano potrebbe includere la capacità AZ-A per un blocco di capacità riservata e AZ-B per un altro. SageMaker i piani di formazione possono spostare automaticamente i carichi di lavoro tra le zone di disponibilità (AZ) in base alla disponibilità delle risorse.

      Questo approccio Multi-AZ per i job di addestramento offre maggiore flessibilità nell’allocazione delle risorse, aumentando le possibilità di trovare la capacità adeguata per il carico di lavoro. Tuttavia, tieni presente che i processi possono essere eseguiti in AZ diverse durante diverse fasi del periodo di prenotazione.

  • Quando viene proposta un’offerta in due blocchi, gli utenti devono valutare attentamente se questa allocazione suddivisa soddisfa i requisiti dei propri carichi di lavoro. Potrebbe essere necessario un adeguamento della pianificazione dei processi o della distribuzione dei carichi di lavoro per tenere conto della natura non continua della prenotazione.

SageMaker piani di formazione, flusso di lavoro degli utenti

SageMaker i piani di formazione prevedono i seguenti passaggi:

Fasi amministrative:

  1. Ricerca e revisione: trova le offerte di piani disponibili che soddisfano i tuoi requisiti di calcolo, come il tipo di istanza, il conteggio, l’ora di inizio e la durata.

  2. Creazione di un piano: prenota un piano di addestramento che soddisfi le tue esigenze utilizzando l’ID dell’offerta del piano prescelto.

  3. Pagamento e pianificazione: dopo aver completato il pagamento anticipato, lo stato del piano diventa Scheduled.

Fasi per gli utenti del piano e gli ingegneri di ML:

  1. Allocazione delle risorse: utilizza il tuo piano per allocare i lavori di formazione sull' SageMaker IA, i gruppi di istanze SageMaker HyperPod del cluster, gli endpoint di SageMaker Inference o gli spazi nelle app Studio. SageMaker

  2. Attivazione: quando viene raggiunta la data di inizio del piano, lo stato diventa Active. In base alla capacità riservata disponibile, i piani di SageMaker formazione forniscono automaticamente lavori di formazione, gruppi di istanze, endpoint di inferenza o applicazioni Studio.

Nota

Lo stato del piano di addestramento passa da Scheduled a Active quando inizia un periodo di capacità riservata, quindi torna a Scheduled durante l’intervallo di attesa prima dell’inizio del periodo di capacità riservata successivo.

I diagrammi seguenti forniscono una panoramica completa di come i piani di SageMaker formazione interagiscono con i diversitarget resources, illustrando il ciclo di vita di un piano e il suo ruolo nell'allocazione delle risorse sia per i lavori di formazione che per i cluster. SageMaker SageMaker HyperPod

  • Piani di formazione per SageMaker Training Job: il primo diagramma illustra il flusso di lavoro end-to-end dell'interazione tra un piano di formazione e Training Job. SageMaker

    Fatturazione, prenotazione della capacità con piani di formazione e Training Job. SageMaker Illustrazione del ciclo di vita del piano di addestramento e degli stati dei job di addestramento gestiti da amministratori e ingegneri di ML.

  • Piani di formazione per SageMaker HyperPod i cluster: il secondo diagramma illustra il flusso di lavoro end-to-end dell'interazione tra un piano di formazione e un gruppo di istanze. SageMaker HyperPod

    Fatturazione, prenotazione della capacità con piani di addestramento e flusso di lavoro per la gestione dei gruppi di istanze. Illustrazione del ciclo di vita del piano di addestramento e degli stati dei gruppi di istanze gestiti da amministratori e ingegneri di ML.