Caractéristiques de base de la bibliothèque SageMaker de parallélisme des modèles v2

La bibliothèque Amazon SageMaker AI de parallélisme des modèles v2 (SMP v2) offre des stratégies de distribution et des techniques d’économie de mémoire, telles que le parallélisme partitionné des données, le parallélisme de tenseur et les points de contrôle. Les stratégies et techniques de parallélisme des modèles proposées par SMP v2 permettent de distribuer de grands modèles sur plusieurs appareils tout en optimisant la vitesse d’entraînement et la consommation de mémoire. SMP v2 fournit également un package Python torch.sagemaker pour vous aider à adapter votre script d’entraînement en modifiant quelques lignes de code.

Ce guide suit le flux de base en deux étapes introduit dans Utilisation de la bibliothèque SageMaker de parallélisme des modèles v2. Pour plus de détails sur les caractéristiques de base de SMP v2 et leur utilisation, consultez les rubriques suivantes.