Amazon SageMaker HyperPod

SageMaker HyperPod vous aide à mettre en place des clusters résilients pour exécuter des charges de travail d'apprentissage automatique (ML) et développer des modèles de pointe tels que des modèles de langage volumineux (LLM), des modèles de diffusion et des modèles de base (FM). Il accélère le développement des FM en supprimant les tâches indifférenciées liées à la création et à la maintenance de clusters de calcul à grande échelle alimentés par des milliers d'accélérateurs tels que AWS Trainium et les unités de traitement graphique (GPU) NVIDIA A100 et H100. En cas de défaillance des accélérateurs, les fonctionnalités de résilience de SageMaker HyperPod Monitor the Cluster Instances détectent et remplacent automatiquement le matériel défectueux à la volée afin que vous puissiez vous concentrer sur l'exécution des charges de travail de machine learning.

Pour commencer, vérifiez Prérequis pour l'utilisation SageMaker HyperPodGestion des identités et des accès AWS pour SageMaker HyperPod, configurez et choisissez l'une des options d'orchestrateur suivantes prises en charge par SageMaker HyperPod.

Support de Slurm dans SageMaker HyperPod

SageMaker HyperPod prend en charge l'exécution de charges de travail d'apprentissage automatique sur des clusters résilients en s'intégrant à Slurm, un gestionnaire de charge de travail open source. La prise en charge de Slurm SageMaker HyperPod permet une orchestration fluide des clusters grâce à la configuration des clusters Slurm, ce qui vous permet de configurer des nœuds de tête, de connexion et de travail sur les SageMaker HyperPod clusters. Cette intégration facilite également la planification des tâches pour l'exécution de charges de Slurm-based travail ML sur le cluster, ainsi que l'accès direct aux nœuds du cluster pour la planification des tâches. Grâce à HyperPod la prise en charge de la configuration du cycle de vie, vous pouvez personnaliser l'environnement informatique des clusters pour répondre à vos besoins spécifiques. En outre, en tirant parti des bibliothèques de formation distribuées d'Amazon SageMaker AI, vous pouvez optimiser les performances des clusters sur les ressources AWS informatiques et réseau. Pour en savoir plus, veuillez consulter la section Orchestrer des SageMaker HyperPod clusters avec Slurm.

Support Amazon EKS dans SageMaker HyperPod

SageMaker HyperPod s'intègre également à Amazon EKS pour permettre la formation à grande échelle des modèles de base sur des clusters de calcul résilients et durables. Cela permet aux administrateurs de clusters de provisionner HyperPod des clusters et de les associer à un plan de contrôle EKS, ce qui permet une gestion dynamique des capacités, un accès direct aux instances de cluster et des fonctionnalités de résilience. Pour les data scientists, le support Amazon EKS HyperPod permet d'exécuter des charges de travail conteneurisées pour la formation des modèles de base, d'inférer des inférences sur le cluster EKS et de tirer parti de la fonctionnalité de reprise automatique des tâches pour la formation Kubeflow. PyTorch L'architecture implique un mappage 1 à 1 entre un cluster EKS (plan de contrôle) et un HyperPod cluster (nœuds de travail) au sein d'un VPC, fournissant une solution étroitement intégrée pour exécuter des charges de travail ML à grande échelle. Pour en savoir plus, veuillez consulter la section Orchestrer des SageMaker HyperPod clusters avec Amazon EKS.

UltraServers avec HyperPod

HyperPod avec UltraServers fournit une puissance de calcul basée sur l'IA en intégrant les superpuces NVIDIA dans une infrastructure cohérente et performante. Chaque NVL72 UltraServer combine 18 instances avec 72 GPU NVIDIA Blackwell interconnectés via NVLink, ce qui permet une inférence et des performances d'entraînement plus rapides par rapport aux instances de génération précédente. Cette architecture est particulièrement utile pour les entreprises utilisant des modèles de base comportant des milliards de paramètres, car la mémoire GPU unifiée permet à des modèles entiers de rester dans un seul domaine NVLink, éliminant ainsi les goulots d'étranglement du réseau entre nœuds. HyperPod renforce cet avantage matériel grâce à une planification intelligente tenant compte de la topologie qui optimise le placement de la charge de travail, au remplacement automatique des instances pour minimiser les interruptions et à des options de déploiement flexibles qui prennent en charge les configurations de ressources dédiées et partagées. Pour les équipes qui repoussent les limites de la taille et des performances des modèles, cette intégration fournit les bases informatiques nécessaires pour entraîner et déployer les modèles d’IA les plus avancés avec une efficacité sans précédent.

SageMaker HyperPod optimise automatiquement le placement des instances dans votre UltraServers. Par défaut, HyperPod donne la priorité à toutes les instances d'une instance UltraServer avant d'en utiliser une autre. Par exemple, si vous voulez 14 instances et en avez 2 UltraServers dans votre forfait, SageMaker AI utilise toutes les instances de la première UltraServer. Si vous voulez 20 instances, SageMaker AI utilise les 18 instances de la première, UltraServer puis en utilise 2 autres de la seconde.

Régions AWS soutenu par SageMaker HyperPod

SageMaker HyperPod est disponible dans les versions suivantes Régions AWS.