Bibliothèque SageMaker de parallélisme des modèles v2

La bibliothèque Amazon SageMaker AI de parallélisme des modèles est une capacité SageMaker AI qui permet un entraînement à grande échelle, performant et optimisé sur les instances de calcul accéléré SageMaker AI. Les Caractéristiques de base de la bibliothèque SageMaker de parallélisme des modèles v2 incluent des techniques et des optimisations visant à accélérer et à simplifier l’entraînement de grands modèles, comme le parallélisme partitionné hybride des données, le parallélisme de tenseur, les points de contrôle d’activation et le déchargement des activations. Vous pouvez utiliser la bibliothèque SMP pour accélérer l’entraînement et le peaufinage de grands modèles de langage (LLM), de grands modèles de vision (LVM) et de modèles de fondation (FM) avec des centaines de milliards de paramètres.

La bibliothèque SageMaker v2 de parallélisme des modèles (SMP v2) aligne les API et les méthodes de la bibliothèque sur le module open source PyTorch Fully Sharded Data Parallelism (FSDP), ce qui vous permet de bénéficier d’optimisations des performances SMP avec un minimum de modifications du code. Avec SMP v2, vous pouvez améliorer les performances de calcul liées à l’entraînement d’un grand modèle de pointe sur SageMaker AI en y intégrant vos scripts d’entraînement PyTorch FSDP.

Vous pouvez utiliser SMP v2 pour les tâches générales d’entraînement SageMaker et pour les charges de travail d’entraînement distribué sur les clusters Amazon SageMaker HyperPod.