Blocchi di capacità per ML - Amazon Elastic Compute Cloud
Tipi di istanze e regioni supportatiPiattaforme supportateConsiderazioniRisorse correlate

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Blocchi di capacità per ML

I blocchi di capacità per ML ti consentono di riservare istanze a calcolo accelerato basate su GPU in una data futura per supportare carichi di lavoro di machine learning (ML) di breve durata. Le istanze eseguite all'interno di un Capacity Block vengono automaticamente posizionate vicine tra loro all'interno di Amazon EC2 UltraClusters, per una rete a bassa latenza, su scala petabit e non bloccante.

Puoi anche utilizzare Capacity Blocks per riservare capacità per Amazon EC2 UltraServers. UltraServers collega più EC2 istanze Amazon all'interno di un'interconnessione acceleratrice a bassa latenza e larghezza di banda elevata. Puoi utilizzarlo UltraServers per gestire i carichi di AI/ML lavoro più intensivi in termini di elaborazione e memoria in ambito di addestramento, ottimizzazione e inferenza. Per ulteriori informazioni, consulta Amazon EC2 UltraServers.

Con Blocchi di capacità puoi vedere quando la capacità dell'istanza GPU sarà disponibile nelle date future e pianificare l'avvio di un blocco di capacità di modo che inizi nel momento più adatto alle tue esigenze. Quando prenoti un blocco di capacità, ottieni una garanzia di capacità prevedibile per le istanze GPU pagando solo per il tempo necessario. Ti consigliamo Capacity Blocks quando GPUs devi supportare i tuoi carichi di lavoro ML per giorni o settimane alla volta e non vuoi pagare una prenotazione mentre le tue istanze GPU non sono in uso.

Di seguito sono elencati alcuni casi d'uso comuni dei blocchi di capacità.

  • Addestramento e fine-tuning dei modelli di ML: ottieni un accesso ininterrotto alle istanze GPU che hai prenotato per completare l'addestramento e il fine-tuning dei modelli di ML.

  • Esperimenti e prototipi di ML: esegui esperimenti e crea prototipi che richiedono istanze GPU per brevi periodi.

I Capacity Block sono disponibili per determinati tipi di istanze in alcune regioni. AWS Per ulteriori informazioni, vedereTipi di istanze e regioni supportati.

Puoi prenotare un blocco di capacità con un orario di inizio della prenotazione fino a otto settimane nel futuro. Ogni blocco di capacità può avere fino a 64 istanze e puoi avere fino a 256 istanze tra i blocchi di capacità.

Argomenti

Tipi di istanze e regioni supportati

I blocchi UltraServer di istanza e capacità possono essere utilizzati con i seguenti tipi di istanze e AWS regioni.

Nota

Le dimensioni dei blocchi di capacità pari a 64 istanze non sono supportate per tutti i tipi di istanze in tutte le Regioni AWS.

I blocchi di capacità delle istanze

  • p6-b300.48xlarge

    • Stati Uniti occidentali (Oregon) — us-west-2

  • p6-b200.48xlarge

    • Stati Uniti orientali (Virginia settentrionale) — us-east-1

    • Stati Uniti orientali (Ohio) — us-east-2

    • Stati Uniti occidentali (Oregon) — us-west-2

  • p5.4xlarge

    • Stati Uniti orientali (Virginia settentrionale) — us-east-1

    • Stati Uniti orientali (Ohio) — us-east-2

    • Stati Uniti occidentali (Oregon) — us-west-2

    • Europa (Londra) — eu-west-2

    • Asia Pacifico (Mumbai) — ap-south-1

    • Asia Pacifico (Tokyo) — ap-northeast-1

    • Asia Pacifico (Sydney) — ap-southeast-2

    • Sud America (San Paolo) — sa-east-1

  • p5.48xlarge

    • Stati Uniti orientali (Virginia settentrionale) — us-east-1

    • Stati Uniti orientali (Ohio) — us-east-2

    • Stati Uniti occidentali (California settentrionale) — us-west-1

    • Stati Uniti occidentali (Oregon) — us-west-2

    • Europa (Stoccolma) — eu-north-1

    • Europa (Londra) — eu-west-2

    • Sud America (San Paolo) — sa-east-1

    • Asia Pacifico (Tokyo) — ap-northeast-1

    • Asia Pacifico (Mumbai) — ap-south-1

    • Asia Pacifico (Sydney) — ap-southeast-2

    • Asia Pacifico (Giacarta) — ap-southeast-3

  • p5e.48xlarge

    • Stati Uniti orientali (Virginia settentrionale) — us-east-1

    • Stati Uniti orientali (Ohio) — us-east-2

    • Stati Uniti occidentali (California settentrionale) — us-west-1

    • Stati Uniti occidentali (Oregon) — us-west-2

    • Europa (Stoccolma) — eu-north-1

    • Europa (Londra) — eu-west-2

    • Europa (Spagna) — eu-south-2

    • Sud America (San Paolo) — sa-east-1

    • Asia Pacifico (Tokyo) — ap-northeast-1

    • Asia Pacifico (Seoul) — ap-northeast-2

    • Asia Pacifico (Mumbai) — ap-south-1

    • Asia Pacifico (Giacarta) — ap-southeast-3

  • p4d.24xlarge

    • Stati Uniti orientali (Virginia settentrionale) — us-east-1

    • Stati Uniti orientali (Ohio) — us-east-2

    • Stati Uniti occidentali (Oregon) — us-west-2

  • p4de.24xlarge

    • Stati Uniti orientali (Virginia settentrionale) — us-east-1

    • Stati Uniti occidentali (Oregon) — us-west-2

  • trn1.32xlarge

    • Stati Uniti orientali (Virginia settentrionale) — us-east-1

    • Stati Uniti orientali (Ohio) — us-east-2

    • Stati Uniti occidentali (California settentrionale) — us-west-1

    • Stati Uniti occidentali (Oregon) — us-west-2

    • Europa (Stoccolma) — eu-north-1

    • Asia Pacifico (Mumbai) — ap-south-1

    • Asia Pacifico (Sydney) — ap-southeast-2

    • Asia Pacifico (Melbourne) — ap-southeast-4

  • trn2.3xlarge

    • Asia Pacifico (Melbourne) — ap-southeast-4

    • Sud America (San Paolo) — sa-east-1

  • trn2.48xlarge

    • Stati Uniti orientali (Ohio) — us-east-2

UltraServer Blocchi di capacità

  • Trn2

    • Stati Uniti orientali (Ohio) — us-east-2

  • P6e-GB200

    • Zona locale di Dallas (Virginia settentrionale) — us-east-1-dfw-2a

Piattaforme supportate

I Capacity Blocks for ML attualmente supportano solo istanze e UltraServers con tenancy predefinita. Quando si utilizza la Console di gestione AWS per acquistare un blocco di capacità, l'opzione di piattaforma predefinita è Linux/UNIX. Quando si utilizza AWS Command Line Interface (AWS CLI) o AWS SDK si acquista un Capacity Block, sono disponibili le seguenti opzioni di piattaforma:

  • Linux/Unix

  • Red Hat Enterprise Linux

  • RHEL con HA

  • SUSE Linux

  • Ubuntu Pro

Considerazioni

Prima di utilizzare i blocchi di capacità, considera i seguenti dettagli e limitazioni.

  • Se rileviamo una compromissione che interessa un UltraServer Capacity Block, ti informeremo, ma in genere non prenderemo provvedimenti per chiudere le tue istanze sul Capacity Block. Questo serve a ridurre al minimo eventuali interruzioni involontarie dei tuoi carichi di lavoro. Puoi continuare a utilizzare il UltraServer Capacity Block così com'è dopo aver ricevuto questa notifica o aver richiesto la riparazione chiudendo tutte le istanze relative al blocco di capacità e inviando una richiesta di assistenza. AWS Dopo aver ricevuto la richiesta di assistenza, ti avviseremo quando avremo completato la riparazione e potrai riavviare le istanze sul tuo Capacity Block. UltraServer

  • Per i P6e-GB200 UltraServer Capacity Blocks, devi terminare le istanze almeno 60 minuti prima della fine del Capacity Block.

  • Per utilizzare P6e-GB200 UltraServer Capacity Blocks, devi aver aderito alla zona locale di Dallas (Virginia settentrionale).

  • Ogni blocco di capacità può avere fino a 64 istanze e puoi avere fino a 256 istanze tra i blocchi di capacità.

  • Puoi descrivere le offerte dei blocchi di capacità che possono iniziare entro 30 minuti.

  • I blocchi di capacità terminano alle 11:30 UTC (tempo coordinato universale).

  • Il processo di terminazione per le istanze in esecuzione in un blocco di capacità inizia alle 11:00 UTC (tempo coordinato universale) dell'ultimo giorno della prenotazione.

  • I blocchi di capacità possono essere prenotati con un orario di inizio fino a 8 settimane nel futuro.

  • Non sono ammesse cancellazioni dei blocchi di capacità.

  • Il blocco di capacità non può essere spostato o diviso.

  • I Capacity Block non possono essere condivisi tra AWS account o all'interno dell'organizzazione. AWS

  • Solo i blocchi UltraServer di capacità possono essere utilizzati con i gruppi di risorse. I blocchi di capacità delle istanze non possono essere utilizzati con i gruppi di risorse. Per ulteriori informazioni, consulta Crea un gruppo di risorse per UltraServer Capacity Blocks.

  • Il numero totale di istanze che possono essere prenotate in Capacity Blocks in tutti gli account AWS dell'organizzazione non può superare 256 istanze in una data particolare.

  • Per utilizzare un blocco di capacità, le istanze devono avere come destinazione specifica l'ID di prenotazione.

  • Le istanze in un blocco di capacità non vengono conteggiate ai fini dei limiti delle istanze on demand.

  • Per le istanze P5 che utilizzano un'AMI personalizzata, assicurati di disporre del software e della configurazione necessari per EFA.

  • Per i gruppi di nodi gestiti di Amazon EKS, consulta Creare un gruppo di nodi gestiti con Amazon EC2 Capacity Blocks for ML. Per i gruppi di nodi autogestiti di Amazon EKS, consulta Usa blocchi di capacità per ML con nodi autogestiti.

Dopo aver creato un blocco di capacità, puoi compiere le operazioni seguenti con il blocco di capacità:

Per ulteriori informazioni su AWS ParallelCluster, consulta What is AWS ParallelCluster.