Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Marcos compatibles y Regiones de AWS
Antes de usar la biblioteca de paralelismo de SageMaker modelos v2 (SMP v2), compruebe los marcos y tipos de instancias compatibles y determine si hay suficientes cuotas en su cuenta y. AWS Región de AWS
nota
Para ver las últimas actualizaciones y notas de la versión de la biblioteca, consulte Notas de publicación de la biblioteca de paralelismo de SageMaker modelos.
Marcos admitidos
SMP v2 es compatible con los siguientes marcos de aprendizaje profundo y está disponible a través de contenedores de Docker de SMP y un canal Conda de SMP. Cuando utilizas las clases estimadoras del framework del SDK de SageMaker Python y especificas la configuración de distribución para usar SMP v2, SageMaker AI recoge automáticamente los contenedores Docker de SMP. Para usar SMP v2, te recomendamos que mantengas siempre actualizado el SDK de SageMaker Python en tu entorno de desarrollo.
PyTorch versiones compatibles con la biblioteca de paralelismo de SageMaker modelos
| PyTorch versión | SageMaker versión de la biblioteca de paralelismo de modelos | URI de imagen de Docker de SMP | URI de imagen de Enroot de SMP |
|---|---|---|---|
| v2.5.1 | smdistributed-modelparallel==v2.8.0 |
658645717510.dkr.ecr. |
https://sagemaker-distributed-model-parallel.s3. |
| v2.4.1 | smdistributed-modelparallel==v2.7.0 |
658645717510.dkr.ecr. |
https://sagemaker-distributed-model-parallel.s3. |
smdistributed-modelparallel==v2.6.1 |
N/A | ||
smdistributed-modelparallel==v2.6.0 |
N/A | ||
| v2.3.1 | smdistributed-modelparallel==v2.5.0 |
658645717510.dkr.ecr. |
N/A |
smdistributed-modelparallel==v2.4.0 |
|||
| v2.2.0 | smdistributed-modelparallel==v2.3.0 |
658645717510.dkr.ecr. |
N/A |
smdistributed-modelparallel==v2.2.0 |
|||
| v2.1.2 | smdistributed-modelparallel==v2.1.0 |
658645717510.dkr.ecr. |
N/A |
| v2.0.1 | smdistributed-modelparallel==v2.0.0 |
658645717510.dkr.ecr. |
N/A |
Canal Conda de SMP
El siguiente bucket de Amazon S3 es el canal de Conda público alojado por el equipo de servicio de SMP. Si desea instalar la biblioteca SMP v2 en un entorno como los SageMaker HyperPod clústeres, utilice este canal Conda para instalar correctamente la biblioteca SMP.
https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/
Para obtener más información sobre los canales de Conda en general, consulte Canales
nota
Para buscar versiones anteriores de la biblioteca de SMP v1.x y los DLC preempaquetados, consulte Marcos admitidos en la documentación de SMP v1.
Uso de SMP v2 con bibliotecas de código abierto
La biblioteca SMP v2 funciona con otras bibliotecas de código PyTorch-based abierto, como PyTorch Lightning, Hugging Face Transformers y Hugging Face Accelerate, porque SMP v2 es compatible con las API de FSDP. PyTorch Si tiene más preguntas sobre el uso de la biblioteca de SMP con otras bibliotecas de terceros, póngase en contacto con el equipo de servicio de SMP en sm-model-parallel-feedback@amazon.com.
Regiones de AWS
SMP v2 está disponible en las siguientes versiones. Regiones de AWS Si desea usar los URI de imagen de Docker de SMP o el canal Conda de SMP, consulte la siguiente lista y elija la Región de AWS que coincida con la suya y actualice el URI de imagen o la URL del canal en consecuencia.
-
ap-northeast-1
-
ap-northeast-2
-
ap-northeast-3
-
ap-south-1
-
ap-southeast-1
-
ap-southeast-2
-
ca-central-1
-
eu-central-1
-
eu-north-1
-
eu-west-1
-
eu-west-2
-
eu-west-3
-
sa-east-1
-
us-east-1
-
us-east-2
-
us-west-1
-
us-west-2
Tipos de instancias admitidas
SMP v2 requiere uno de los siguientes tipos de instancias de ML.
| Tipo de instancia |
|---|
ml.p4d.24xlarge |
ml.p4de.24xlarge |
ml.p5.48xlarge |
ml.p5e.48xlarge |
sugerencia
A partir de la versión 2.2.0, SMP y compatible con la versión 2.2.0 y PyTorch versiones posteriores, está disponible. Entrenamiento de precisión mixto con FP8 en instancias P5 utilizando Transformer Engine
Para ver las especificaciones de los tipos de instancias de aprendizaje SageMaker automático en general, consulte la sección Computación acelerada en la página de tipos de instancias de Amazon EC2
Si encuentra un mensaje de error similar al siguiente, siga las instrucciones de Solicitud de aumento de cuota en la Guía del usuario de AWS Service Quotas.
ResourceLimitExceeded: An error occurred (ResourceLimitExceeded) when calling the CreateTrainingJob operation: The account-level service limit 'ml.p3dn.24xlarge for training job usage' is 0 Instances, with current utilization of 0 Instances and a request delta of 1 Instances. Please contact AWS support to request an increase for this limit.
