Principales fonctions de la bibliothèque de parallélisme de modèles SageMaker
La bibliothèque Amazon SageMaker AI de parallélisme des modèles offre des stratégies de distribution et des techniques d’économie de mémoire, telles que le parallélisme partitionné des données, le parallélisme de tenseur, le partitionnement des modèles par couches pour la planification des pipelines, et les points de contrôle. Les stratégies et techniques de parallélisme de modèles permettent de distribuer de grands modèles sur plusieurs appareils tout en optimisant la vitesse d'entraînement et la consommation de mémoire. La bibliothèque fournit également des fonctions d'assistance, des gestionnaires de contexte et des fonctions d'encapsulation de Python pour adapter votre script d'entraînement au partitionnement automatique ou manuel de votre modèle.
Lorsque vous implémentez le parallélisme de modèles dans votre tâche d'entraînement, vous conservez le même flux de travail en deux étapes affiché dans la section Exécution d'une tâche d'entraînement distribué SageMaker avec le parallélisme de modèles. Pour adapter votre script d'entraînement, vous n'ajouterez aucune ligne de code ou quelques lignes de code supplémentaires à votre script d'entraînement. Pour lancer une tâche d'entraînement du script d'entraînement adapté, vous devez définir les paramètres de configuration de distribution afin d'activer les fonctionnalités d'économie de mémoire ou de transmettre des valeurs pour le degré de parallélisme.
Pour commencer avec des exemples, consultez les blocs-notes Jupyter suivants qui montrent comment utiliser la bibliothèque de parallélisme de modèles SageMaker.
Pour en savoir plus sur les fonctionnalités de base de la bibliothèque, consultez les rubriques suivantes.
Note
Les bibliothèques d'entraînement distribué SageMaker sont disponibles via les conteneurs AWS Deep Learning pour PyTorch, Hugging Face et TensorFlow sur la plateforme d'entraînement SageMaker. Pour utiliser les fonctionnalités des bibliothèques d'entraînement distribuées, nous vous recommandons d'utiliser le kit SageMaker Python SDK. Vous pouvez également configurer manuellement la syntaxe des requêtes JSON si vous utilisez les API SageMaker via le kit SDK pour Python (Boto3) ou l'AWS Command Line Interface. La documentation contient des instructions et des exemples sur l'utilisation des bibliothèques d'entraînement distribué avec le kit SDK Python SageMaker.
Important
La bibliothèque de modèles de parallélisme SageMaker prend en charge toutes les fonctionnalités de base de PyTorch, ainsi que le parallélisme de pipelines pour TensorFlow.
Rubriques
