Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Exemples de la bibliothèque Amazon SageMaker AI de parallélisme des modèles v1
Cette page fournit une liste de blogs et de blocs-notes Jupyter présentant des exemples pratiques de mise en œuvre de la bibliothèque SageMaker de parallélisme des modèles (SMP) v1 pour exécuter des tâches d’entraînement distribué sur SageMaker AI.
Blogs et études de cas
Les blogs suivants traitent d’études de cas sur l’utilisation de SMP v1.
-
Nouvelles améliorations des performances dans la bibliothèque de parallélisme des modèles Amazon SageMaker AI
, blog AWS Machine Learning (16 décembre 2022) -
Train gigantic models with near-linear scaling using sharded data parallelism on Amazon SageMaker AI
, blog AWS Machine Learning (31 octobre 2022)
Exemples de blocs-notes
Les exemples de blocs-notes sont fournis dans le référentiel GitHub d’exemples SageMaker AItraining/distributed_training/pytorch/model_parallel.
Note
Clonez et exécutez les exemples de blocs-notes dans les IDE de ML SageMaker AI suivants.
-
JupyterLab SageMaker (disponible dans Studio, créé après décembre 2023)
-
Éditeur de code SageMaker (disponible dans Studio créé après décembre 2023)
-
Studio Classic (disponible sous forme d’application dans Studio, créé après décembre 2023)
git clone https://github.com/aws/amazon-sagemaker-examples.git cd amazon-sagemaker-examples/training/distributed_training/pytorch/model_parallel
Exemples de blocs-notes SMP v1 pour PyTorch
-
Entraînez le GPT-2 avec une mise à l'échelle quasi linéaire à l'aide de la technique de parallélisme de données partitionnées de la bibliothèque de parallélisme de modèles SageMaker
(langue française non garantie) -
Optimisez le GPT-2 avec une mise à l'échelle quasi linéaire à l'aide de la technique de parallélisme de données partitionnées de la bibliothèque de parallélisme de modèles SageMaker
(langue française non garantie) -
Entraînez le GPT-NeoX-20B avec une mise à l'échelle quasi linéaire à l'aide de la technique de parallélisme de données partitionnées de la bibliothèque de parallélisme de modèles SageMaker
(langue française non garantie) -
Entraînez le GPT-J 6B avec les techniques de parallélisme de données partitionnées et de parallélisme de tenseurs de la bibliothèque de parallélisme de modèles SageMaker
(langue française non garantie) -
Entraînez le FLAN-T5 avec une mise à l'échelle quasi linéaire à l'aide de la technique de parallélisme de données partitionnées de la bibliothèque de parallélisme de modèles SageMaker
(langue française non garantie) -
Entraînez le Falcon avec une mise à l'échelle quasi linéaire à l'aide de la technique de parallélisme de données partitionnées de la bibliothèque de parallélisme de modèles SageMaker
(langue française non garantie)
Exemples de blocs-notes SMP v1 pour TensorFlow
-
CNN with TensorFlow 2.3.1 and the SageMaker model parallelism library
(CNN avec TensorFlow 2.3.1 et la bibliothèque de parallélisme de modèles SageMaker) -
HuggingFace with TensorFlow Distributed model parallelism library Training on SageMaker AI
