Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Ejemplos de la biblioteca de paralelismo de datos de Amazon SageMaker AI
Esta página proporciona cuadernos de Jupyter que presentan ejemplos prácticos de implementación de la biblioteca de paralelismo de datos distribuidos de SageMaker AI (SMDDP) para ejecutar trabajos de entrenamiento distribuido en SageMaker AI.
Blogs y casos prácticos
En los siguientes blogs se analizan casos prácticos sobre el uso de la biblioteca de SMDDP.
Blogs sobre SMDDP v2
-
Consiga un entrenamiento más rápido con la biblioteca de paralelismo de datos de Amazon SageMaker AI
, AWS Machine Learning Blog (5 de diciembre de 2023)
Blogs sobre SMDDP v1
-
Cómo entrené 10 TB para una difusión estable en SageMaker AI
en Medio (29 de noviembre de 2022) -
Ejecute PyTorch Lightning y PyTorch DDP nativo en el entrenamiento de Amazon SageMaker, con Amazon Search , blog de machine learning de AWS
(18 de agosto de 2022) -
Entrenando YOLOv5 en AWS con PyTorch y la biblioteca de paralelismo de datos de SageMaker AI
, Medio (6 de mayo de 2022) -
Acelere el entrenamiento de modelos de EfficientNet en SageMaker AI con PyTorch y la biblioteca de paralelismo de datos distribuidos de SageMaker AI
, Medio (21 de marzo de 2022) -
Acelere el entrenamiento de EfficientNet en AWS con la biblioteca de paralelismo de datos distribuidos de SageMaker AI
, Hacia la ciencia de datos (12 de enero 2022) -
Hyundai reduce el tiempo de entrenamiento de modelos de machine learning para modelos de conducción autónoma utilizando Amazon SageMaker AI
, blog de machine learning de AWS (25 de junio de 2021) -
Entrenamiento distribuido: entrene BART/T5 para resumir con Transformers y Amazon SageMaker AI
, la página web de Hugging Face (8 de abril de 2021)
Cuadernos de ejemplo
Se proporcionan cuadernos de ejemplo en el repositorio de GitHub de ejemplos de SageMaker AItraining/distributed_training/pytorch/data_parallel.
nota
Clone y ejecute los cuadernos de ejemplo en los siguientes IDE de ML de SageMaker AI.
-
SageMaker AI JupyterLab (disponible en Studio creado después de diciembre de 2023)
-
Editor de código de SageMaker AI (disponible en Studio creado después de diciembre de 2023)
-
Studio Classic (disponible como aplicación en Studio creado después de diciembre de 2023)
git clone https://github.com/aws/amazon-sagemaker-examples.git cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel
Ejemplos de SMDDP v2
Ejemplos de SMDDP v1
-
CNN con PyTorch y la biblioteca de paralelismo de datos de SageMaker AI
-
BERT con PyTorch y la biblioteca de paralelismo de datos de SageMaker AI
-
CNN con TensorFlow 2.3.1 y la biblioteca de paralelismo de datos de SageMaker AI
-
BERT con TensorFlow 2.3.1 y la biblioteca de paralelismo de datos de SageMaker AI
-
Entrenamiento de paralelismo de datos distribuidos HuggingFace de TensorFlow en SageMaker AI
