Blocs de capacité pour ML - Amazon Elastic Compute Cloud
Types d'instances et régions pris en chargePlateformes prises en chargeConsidérationsRessources connexes

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Blocs de capacité pour ML

Les blocs de capacité pour le ML vous permettent de réserver des instances de calcul accéléré basé sur GPU à une date ultérieure pour prendre en charge vos charges de travail de machine learning (ML) de courte durée. Les instances qui s'exécutent au sein d'un bloc de capacité sont automatiquement placées à proximité les unes des autres dans Amazon EC2 UltraClusters, pour une mise en réseau non bloquante à faible latence, à l'échelle du pétaoctet.

Vous pouvez également utiliser des blocs de capacité pour réserver de la capacité pour Amazon EC2 UltraServers. UltraServers connectez plusieurs EC2 instances Amazon au sein d'une interconnexion accélératrice à faible latence et à bande passante élevée. Vous pouvez l'utiliser UltraServers pour gérer les AI/ML charges de travail les plus gourmandes en calcul et en mémoire lors de la formation, du réglage et de l'inférence. Pour plus d'informations, consultez Amazon EC2 UltraServers.

Avec les blocs de capacité, vous pouvez voir quand la capacité de l’instance GPU sera disponible à des dates ultérieures, et vous pouvez planifier le démarrage d’un bloc de capacité au moment qui vous convient le mieux. Lorsque vous réservez un bloc de capacité, vous bénéficiez d’une assurance de capacité prévisible pour les instances GPU tout en ne payant que pour le temps dont vous avez besoin. Nous recommandons les blocs de capacité lorsque vous devez GPUs prendre en charge vos charges de travail de ML pendant des jours ou des semaines d'affilée et que vous ne souhaitez pas payer pour une réservation lorsque vos instances de GPU ne sont pas utilisées.

Voici quelques cas d’utilisation courants des blocs de capacité.

  • Entraînement et optimisation du modèle de ML : bénéficiez d’un accès ininterrompu aux instances GPU que vous avez réservées pour terminer l’entraînement et l’optimisation du modèle de machine learning.

  • Expérimentations et prototypes de machine learning : exécutez des expériences et créez des prototypes qui nécessitent des instances de GPU pendant de courtes durées.

Les blocs de capacité sont disponibles pour certains types d'instances dans certaines AWS régions. Pour plus d'informations, voirTypes d'instances et régions pris en charge.

Vous pouvez réserver un bloc de capacité avec un démarrage ultérieur, jusqu’à huit semaines plus tard. Chaque bloc de capacité peut avoir jusqu’à 64 instances, et vous pouvez avoir jusqu’à 256 instances dans l’ensemble des blocs de capacité.

Rubriques

Types d'instances et régions pris en charge

Les blocs d'instance et de UltraServer capacité peuvent être utilisés avec les types d'instances et AWS les régions suivants.

Note

Les tailles de bloc de capacité de 64 instances ne sont pas prises en charge pour tous les types d’instance dans tous les Régions AWS.

Blocs de capacité d'instance

  • p6-b300.48xlarge

    • Ouest des États-Unis (Oregon) — us-west-2

  • p6-b200.48xlarge

    • Est des États-Unis (Virginie du Nord) — us-east-1

    • Est des États-Unis (Ohio) — us-east-2

    • Ouest des États-Unis (Oregon) — us-west-2

  • p5.4xlarge

    • Est des États-Unis (Virginie du Nord) — us-east-1

    • Est des États-Unis (Ohio) — us-east-2

    • Ouest des États-Unis (Oregon) — us-west-2

    • Europe (Londres) — eu-west-2

    • Asie-Pacifique (Mumbai) — ap-south-1

    • Asie-Pacifique (Tokyo) — ap-northeast-1

    • Asie-Pacifique (Sydney) — ap-southeast-2

    • Amérique du Sud (São Paulo) — sa-east-1

  • p5.48xlarge

    • Est des États-Unis (Virginie du Nord) — us-east-1

    • Est des États-Unis (Ohio) — us-east-2

    • Ouest des États-Unis (Californie du Nord) — us-west-1

    • Ouest des États-Unis (Oregon) — us-west-2

    • Europe (Stockholm) — eu-north-1

    • Europe (Londres) — eu-west-2

    • Amérique du Sud (São Paulo) — sa-east-1

    • Asie-Pacifique (Tokyo) — ap-northeast-1

    • Asie-Pacifique (Mumbai) — ap-south-1

    • Asie-Pacifique (Sydney) — ap-southeast-2

    • Asie-Pacifique (Jakarta) — ap-southeast-3

  • p5e.48xlarge

    • Est des États-Unis (Virginie du Nord) — us-east-1

    • Est des États-Unis (Ohio) — us-east-2

    • Ouest des États-Unis (Californie du Nord) — us-west-1

    • Ouest des États-Unis (Oregon) — us-west-2

    • Europe (Stockholm) — eu-north-1

    • Europe (Londres) — eu-west-2

    • Europe (Espagne) — eu-south-2

    • Amérique du Sud (São Paulo) — sa-east-1

    • Asie-Pacifique (Tokyo) — ap-northeast-1

    • Asie-Pacifique (Séoul) — ap-northeast-2

    • Asie-Pacifique (Mumbai) — ap-south-1

    • Asie-Pacifique (Jakarta) — ap-southeast-3

  • p4d.24xlarge

    • Est des États-Unis (Virginie du Nord) — us-east-1

    • Est des États-Unis (Ohio) — us-east-2

    • Ouest des États-Unis (Oregon) — us-west-2

  • p4de.24xlarge

    • Est des États-Unis (Virginie du Nord) — us-east-1

    • Ouest des États-Unis (Oregon) — us-west-2

  • trn1.32xlarge

    • Est des États-Unis (Virginie du Nord) — us-east-1

    • Est des États-Unis (Ohio) — us-east-2

    • Ouest des États-Unis (Californie du Nord) — us-west-1

    • Ouest des États-Unis (Oregon) — us-west-2

    • Europe (Stockholm) — eu-north-1

    • Asie-Pacifique (Mumbai) — ap-south-1

    • Asie-Pacifique (Sydney) — ap-southeast-2

    • Asie-Pacifique (Melbourne) — ap-southeast-4

  • trn2.3xlarge

    • Asie-Pacifique (Melbourne) — ap-southeast-4

    • Amérique du Sud (São Paulo) — sa-east-1

  • trn2.48xlarge

    • Est des États-Unis (Ohio) — us-east-2

UltraServer Blocs de capacité

  • Trn2

    • Est des États-Unis (Ohio) — us-east-2

  • P6e-GB200

    • Zone locale de Dallas (Virginie du Nord) — us-east-1-dfw-2a

Plateformes prises en charge

Les blocs de capacité pour le ML prennent actuellement en charge les instances et uniquement UltraServers avec une location par défaut. Lorsque vous utilisez la console AWS Management Console pour acheter un bloc de capacité, l’option de plateforme par défaut est Linux/UNIX. Lorsque vous utilisez le AWS Command Line Interface (AWS CLI) ou que AWS SDK vous achetez un bloc de capacité, les options de plateforme suivantes sont disponibles :

  • Linux/Unix

  • Utilisation de Red Hat Enterprise Linux

  • RHEL avec HA

  • SUSE Linux

  • Ubuntu Pro

Considérations

Avant d’utiliser les blocs de capacité, tenez compte des informations et des limites suivantes.

  • Si nous détectons une déficience affectant un bloc de UltraServer capacité, nous vous en informerons mais nous ne prendrons généralement aucune mesure pour mettre fin à vos instances sur le bloc de capacité. Cela permet de minimiser les perturbations involontaires de vos charges de travail. Vous pouvez continuer à utiliser le bloc de UltraServer capacité tel quel après avoir reçu cette notification ou demander une correction en mettant fin à toutes les instances du bloc de capacité et en soumettant un dossier d' AWS assistance. Une fois que nous aurons reçu votre dossier d'assistance, nous vous informerons lorsque la correction sera terminée et que vous pourrez relancer les instances sur votre UltraServer bloc de capacité.

  • Pour les blocs de P6e-GB200 UltraServer capacité, vous devez mettre fin à vos instances au moins 60 minutes avant l'heure de fin du bloc de capacité.

  • Pour utiliser les blocs de P6e-GB200 UltraServer capacité, vous devez être inscrit à la zone locale de Dallas (Virginie du Nord).

  • Chaque bloc de capacité peut avoir jusqu’à 64 instances, et vous pouvez avoir jusqu’à 256 instances dans l’ensemble des blocs de capacité.

  • Vous pouvez décrire des offres de blocs de capacité qui peuvent démarrer en 30 minutes seulement.

  • Les blocs de capacité se terminent à 11 h 30, heure universelle coordonnée (UTC).

  • Le processus de résiliation pour les instances exécutées dans un bloc de capacité commence à 11 h 00, heure universelle coordonnée (UTC), le dernier jour de la réservation.

  • Les blocs de capacité peuvent être réservés avec un démarrage ultérieur, jusqu’à huit semaines plus tard.

  • Les annulations de blocs de capacité ne sont pas autorisées.

  • Le bloc de capacité ne peut pas être déplacé ou divisé.

  • Les blocs de capacité ne peuvent pas être partagés entre les AWS comptes ou au sein de votre AWS organisation.

  • Seuls les blocs UltraServer de capacité peuvent être utilisés avec des groupes de ressources. Les blocs de capacité d’instance ne peuvent pas être utilisés avec des groupes de ressources. Pour de plus amples informations, veuillez consulter Création d'un groupe de ressources pour les blocs UltraServer de capacité.

  • Le nombre total d'instances pouvant être réservées dans les blocs de capacité sur tous les comptes de votre AWS organisation ne peut pas dépasser 256 instances à une date donnée.

  • Pour utiliser un bloc de capacité, les instances doivent cibler spécifiquement l’ID de réservation.

  • Les instances d’un bloc de capacité ne sont pas prises en compte dans vos limites d’instances à la demande.

  • Pour les instances P5 utilisant une AMI personnalisée, assurez-vous que vous disposez du logiciel et de la configuration nécessaires pour EFA.

  • Pour les groupes de nœuds gérés par Amazon EKS, consultez la section Créer un groupe de nœuds gérés avec Amazon EC2 Capacity Blocks for ML. Pour les groupes de nœuds autogérés Amazon EKS, consultez la section Utiliser des blocs de capacité pour la ML avec des nœuds autogérés.

Après avoir créé un bloc de capacité, vous pouvez effectuer les opérations suivantes avec le bloc de capacité :

Pour plus d'informations AWS ParallelCluster, voir Qu'est-ce que AWS ParallelCluster.