Exemples de bibliothèque Amazon SageMaker AI de parallélisme des données
Cette page fournit une liste de blogs et de blocs-notes Jupyter présentant des exemples pratiques d’implémentation de la bibliothèque SageMaker de parallélisme distribué des données (SMDDP) pour exécuter des tâches d’entraînement distribué sur SageMaker AI.
Blogs et études de cas
Les blogs suivants traitent d’études de cas sur l’utilisation de la bibliothèque SMDDP.
Blogs SMDDP v2
-
Enable faster training with Amazon SageMaker AI data parallel library
, Blog AWS Machine Learning (5 décembre 2023)
Blogs SMDDP v1
-
How I trained 10TB for Stable Diffusion on SageMaker
dans Medium (29 novembre 2022) -
Run PyTorch Lightning and native PyTorch DDP on Amazon SageMaker Training, featuring Amazon Search
(Exécuter PyTorch Lightning et PyTorch DDP natif sur Amazon SageMaker Training avec Amazon Search), Blog AWS Machine Learning (18 août 2022) -
Training YOLOv5 on AWS with PyTorch and the SageMaker AI distributed data parallel library
, Medium (6 mai 2022) -
Speed up EfficientNet model training on SageMaker AI with PyTorch and the SageMaker AI distributed data parallel library
, Medium (21 mars 2022) -
Speed up EfficientNet training on AWS with the SageMaker AI distributed data parallel library
, Towards Data Science (12 janvier 2022) -
Hyundai reduces ML model training time for autonomous driving models using Amazon SageMaker AI
, Blog AWS Machine Learning (25 juin 2021) -
Distributed Training: Train BART/T5 for Summarization using Transformers and Amazon SageMaker AI
, site Internet Hugging Face (8 avril 2021)
Exemples de blocs-notes
Les exemples de blocs-notes sont fournis dans le référentiel GitHub d’exemples SageMaker AItraining/distributed_training/pytorch/data_parallel.
Note
Clonez et exécutez les exemples de blocs-notes dans les IDE de ML SageMaker AI suivants.
-
JupyterLab SageMaker AI (disponible dans Studio, créé après décembre 2023)
-
Éditeur de code SageMaker AI (disponible dans Studio créé après décembre 2023)
-
Studio Classic (disponible sous forme d’application dans Studio, créé après décembre 2023)
git clone https://github.com/aws/amazon-sagemaker-examples.git cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel
Exemples SMDDP v2
Exemples SMDDP v1
-
CNN with PyTorch and the SageMaker AI data parallelism library
-
BERT with PyTorch and the SageMaker AI data parallelism library
-
CNN with TensorFlow 2.3.1 and the SageMaker AI data parallelism library
-
BERT with TensorFlow 2.3.1 and the SageMaker AI data parallelism library
-
HuggingFace Distributed Data Parallel Training in TensorFlow on SageMaker AI
