Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Esempi della libreria Amazon SageMaker AI Distributed Data Parallelism
Questa pagina fornisce notebook Jupyter che presentano esempi di implementazione della libreria SageMaker AI Distributed Data Parallelism (SMDDP) per eseguire job di addestramento distribuito su SageMaker AI.
Blog e casi di studio
I seguenti blog illustrano casi di studio sull’utilizzo della libreria SMDDP.
Blog SMDDP v2
-
Enable faster training with Amazon SageMaker AI data parallel library
, Blog sul machine learning AWS (5 dicembre 2023)
Blog SMDDP v1
-
How I trained 10TB for Stable Diffusion on SageMaker AI
in Medium (29 novembre 2022) -
Run PyTorch Lightning and native PyTorch DDP on Amazon SageMaker Training, featuring Amazon Search
, AWS Machine Learning Blog (18 agosto 2022) -
Training YOLOv5 on AWS with PyTorch and the SageMaker AI distributed data parallel library
, Medium (6 maggio 2022) -
Speed up EfficientNet model training on SageMaker AI with PyTorch and the SageMaker AI distributed data parallel library
, Medium (21 marzo 2022) -
Speed up EfficientNet training on AWS with the SageMaker AI distributed data parallel library
, Towards Data Science (12 gennaio 2022) -
Hyundai reduces ML model training time for autonomous driving models using Amazon SageMaker AI
, Blog sul machine learning AWS (25 giugno 2021) -
Distributed Training: Train BART/T5 for Summarization using Transformers and Amazon SageMaker AI
, sito web di Hugging Face (8 aprile 2021)
Notebook di esempio
Questi notebook sono disponibili nel repository GitHub degli esempi di SageMaker AItraining/distributed_training/pytorch/data_parallel.
Nota
Clona ed esegui i notebook di esempio nei seguenti IDE ML di SageMaker AI.
-
SageMaker AI JupyterLab (disponibile in Studio creato dopo dicembre 2023)
-
Editor di codice di SageMaker AI (disponibile in Studio creato dopo dicembre 2023)
-
Studio Classic (disponibile come applicazione in Studio creata dopo dicembre 2023)
git clone https://github.com/aws/amazon-sagemaker-examples.git cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel
Esempi SMDDP v2
Esempi SMDDP v1
-
CNN with PyTorch and the SageMaker AI data parallelism library
-
BERT with PyTorch and the SageMaker AI data parallelism library
-
CNN with TensorFlow 2.3.1 and the SageMaker AI data parallelism library
-
BERT with TensorFlow 2.3.1 and the SageMaker AI data parallelism library
-
HuggingFace Distributed Data Parallel Training in TensorFlow on SageMaker AI
