Beispiele zur Amazon SageMaker AI Data Parallelism Library
Auf dieser Seite finden Sie Jupyter Notebooks mit Beispielen für die Implementierung der SMDDP-Bibliothek (SageMaker AI Distributed Data Parallelism) zur Ausführung verteilter Trainingsjobs auf SageMaker AI.
Blogs und Fallstudien
In den folgenden Blogs werden Fallbeispiele zur Verwendung der SMDDP-Bibliothek behandelt.
Blogs zu SMDDP v2
-
Schnelleres Training mit der Datenparallelitätsbibliothek von Amazon SageMaker AI
, AWS Blog für Machine Learning (5. Dezember 2023)
Blogs zu SMDDP v1
-
Wie ich 10 TB für Stable Diffusion auf SageMaker AI
in Medium trainiert habe (29. November 2022) -
Führen Sie PyTorch Lightning und natives PyTorch DDP auf Amazon SageMaker Training mit Amazon Search aus,
AWSBlog für Machine Learning (18. August 2022) -
Training von YoloV5 auf AWS mit PyTorch und der SMDDP-Bibliothek (SageMaker AI Distributed Data Parallel)
, Medium (6. Mai 2022) -
Beschleunigen Sie das EfficientNet-Modelltraining auf SageMaker AI mit PyTorch und der SMDDP-Bibliothek (SageMaker AI Distributed Parallel)
, Medium (21. März 2022) -
Beschleunigen Sie das EfficientNet-Training auf AWS mit der SMDDP-Bibliothek (SageMaker AI Distributed Data Parallel)
, Towards Data Science (12. Januar 2022) -
Hyundai reduziert die Trainingszeit für ML-Modelle für autonomes Fahren mithilfe von Amazon SageMaker AI
, AWSBlog für Machine Learning (25. Juni 2021) -
Verteiltes Training: Mit Transformers und Amazon SageMaker AI
, der Hugging Face-Website, BART/T5 für die Zusammenfassung trainieren (8. April 2021)
Beispiel-Notebooks
Beispiel-Notebooks werden im GitHub-Repository für SageMaker-AI-Beispieletraining/distributed_training/pytorch/data_parallel.
Anmerkung
Klonen Sie die Beispiel-Notebooks in den folgenden ML-IDEs von SageMaker AI und führen Sie sie dort aus.
-
SageMaker AI JupyterLab (verfügbar in Studio, das nach Dezember 2023 erstellt wurde)
-
SageMaker AI Code Editor (verfügbar in Studio, das nach Dezember 2023 erstellt wurde)
-
Studio Classic (verfügbar als Anwendung in Studio, das nach Dezember 2023 erstellt wurde)
git clone https://github.com/aws/amazon-sagemaker-examples.git cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel
Beispiele für SMDDP v2
Beispiele für SMDDP v1
-
CNN mit PyTorch und der SageMaker-AI-Datenparallelitätsbibliothek
-
BERT mit PyTorch und der SageMaker-AI-Datenparallelitätsbibliothek
-
CNN mit TensorFlow 2.3.1 und der SageMaker-AI-Datenparallelitätsbibliothek
-
BERT mit TensorFlow 2.3.1 und der SageMaker-AI-Datenparallelitätsbibliothek
-
Paralleles Training mit verteilten Daten von HuggingFace in TensorFlow auf SageMaker AI
