Notas de la versión de la biblioteca de paralelismo de modelos de SageMaker

El recorte por norma de degradado SMP ahora admite la descarga de activaciones.

Se ha añadido compatibilidad con PyTorch v2.5.1

Se ha actualizado la compatibilidad con CUDA a la v12.4

Se ha actualizado la compatibilidad con NCCL a la v2.23.4

Se ha actualizado la biblioteca SMDDP a la v2.6.0.

Contenedor de Docker de SMP para PyTorch v2.5.1 con CUDA v12.4

658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.5.1-gpu-py311-cu124

Contenedor de Enroot de SMP para PyTorch v2.5.1 con CUDA v12.4

https://sagemaker-distributed-model-parallel.s3.<us-west-2>.amazonaws.com/enroot/2.5.1-gpu-py311-cu124.sqsh

Paquetes preinstalados

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Se agregó compatibilidad con SageMaker HyperPod recetas.

Contenedor de Docker de SMP para PyTorch v2.4.1 con CUDA v12.1

658645717510.dkr.ecr.<us-west-2>.smdistributed-modelparallel:2.4.1-gpu-py311-cu121

Contenedor de Enroot de SMP para PyTorch v2.4.1 con CUDA v12.1

https://sagemaker-distributed-model-parallel.s3.<us-west-2>.amazonaws.com/enroot/2.4.1-gpu-py311-cu121.sqsh

Paquetes preinstalados

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Se ha corregido un problema de ImportError que se producía al utilizar scripts de entrenamiento antiguos con SMP v2.6.0. Esto corrige la incompatibilidad con versiones anteriores con SMP v2.6.0.

Se ha añadido una DeprecationWarning para torch.sagemaker.distributed.fsdp.checkpoint. Este módulo quedará en desuso y se eliminará en SMP v2.7.0. Si actualmente utiliza torch.sagemaker.distributed.fsdp.checkpoint en su código, debería planear actualizar sus scripts antes del lanzamiento de SMP v2.7.0 para evitar problemas en el futuro.

Se ha corregido un problema de compatibilidad con versiones anteriores identificado en SMP v2.6.0. Este problema estaba relacionado con la obsolescencia del método de comprobación USE_PG_WITH_UTIL en SMP v2.6.0, lo que rompía la compatibilidad con versiones anteriores de los scripts de entrenamiento. Para resolver este problema, vuelva a ejecutar sus trabajos de entrenamiento de PyTorch para utilizar el último contenedor de SMP empaquetado con SMP v2.6.1.

Contenedor de Docker de SMP para PyTorch v2.4.1 con CUDA v12.1

658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121

Paquetes preinstalados

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Se ha agregado compatibilidad con las siguientes configuraciones del modelo LLM. Puede empezar a usar Paralelismo de contexto y Paralelismo de tensores.

Se ha agregado compatibilidad de Paralelismo de tensores con las siguientes configuraciones del modelo Mixtral.

Se ha agregó compatibilidad con una implementación de paralelismo contextual basada en AllGather que utiliza el colectivo de comunicación AllGather para obtener la secuencia completa de tensores de clave y valor. Las implementaciones disponibles son p2p y all_gather. La implementación de p2p utiliza llamadas de envío y recepción entre pares para la acumulación de tensores de clave y valor (KV) durante la computación de atención, ejecutándose de forma asíncrona y permitiendo que la comunicación se superponga con la computación. Por otro lado, la implementación de all_gather emplea la operación colectiva de comunicación de AllGather para la acumulación de tensores de KV. Para aprender a aplicar esta implementación del paralelismo contextual, consulte Paralelismo de contexto.

Se ha añadido compatibilidad con el ajuste del valor theta de la incrustación de posición rotatoria (RoPE).

Se ha corregido un error que provocaba que la incrustación de posición rotatoria (RoPE) no se inicializara correctamente durante el entrenamiento previo cuando el parámetro de retardo estaba habilitado.

Actualmente, Transformer Engine no admite paralelismo contextual ni FP8 con atención a ventanas deslizantes habilitada. Por tanto, la versión de SMP de los transformadores de Mistral no admite paralelismo contextual ni entrenamiento FP8 cuando la configuración de ventanas deslizantes se establece en un valor no nulo.

Se ha actualizado PyTorch a v2.4.1

Se ha actualizado Megatron a v0.8.0

Se ha actualizado la biblioteca TransformerEngine a la v1.10

Se ha actualizado Transformers a v4.44.2

Se ha actualizado cuDNN a v9.4.0.58

Contenedor de Docker de SMP para PyTorch v2.4.1 con CUDA v12.1

658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121

Paquetes preinstalados

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Se ha agregado compatibilidad con el entrenamiento de precisión mixta utilizando el formato de datos FP8 en instancias P5 para el modelo Mixtral.

Se ha agregado compatibilidad con Paralelismo de contexto para las siguientes configuraciones del modelo.

Se ha agregado compatibilidad para guardar puntos de comprobación de forma asíncrona. Para obtener más información, consulte Puntos de comprobación mediante SMP.

Se ha solucionado un problema que provocaba una pérdida inicial inesperadamente elevada durante el refinamiento de Llama al cargar un punto de comprobación de un modelo previamente entrenado y utilizar paralelismo de tensores.

Para utilizar los puntos de comprobación de activación para Mixtral con una precisión mixta FP8, deberá comprobar las capas de atención y de experto por separado. Para ver un ejemplo de cómo configurarlo correctamente, consulte el ejemplo de script de entrenamiento en el repositorio de ejemplos de Amazon SageMaker AI.

El tipo de equilibrador de carga equilibrado de la configuración del MoE (torch.sagemaker.moe.moe_config.MoEConfig) no es compatible actualmente con los puntos de comprobación de activación.

Con paralelismo contextual, GPT-NeoX muestra regresión del rendimiento tanto en el entrenamiento previo como en el refinamiento.

Para GPT-NeoX en instancias P4, cargar directamente las ponderaciones de un modelo transformado inicializado con parámetros retardados en un modelo de transformador Hugging Face provoca un desajuste de pérdida en el primer paso.

Se ha actualizado la biblioteca FlashAttention a la v2.5.8

Se ha actualizado la biblioteca Transformer Engine a la v1.8

Contenedor de Docker de SMP para PyTorch v2.3.1 con CUDA v12.1

658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121

Para obtener una lista completa de las regiones admitidas, consulte Regiones de AWS.

Paquetes preinstalados

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Se ha corregido un error que provocaba que las formas logit fueran incorrectas cuando no se pasaban etiquetas en la propagación hacia delante mientras se utilizaba el transformador de SMP.

Se ha añadido compatibilidad con PyTorch v2.3.1.

Se ha añadido compatibilidad con Python 3.11.

La biblioteca Hugging Face Transformers v4.40.1 ahora es compatible.

Se ha dejado de admitir Python v3.10.

Se han dejado de admitir las versiones de la biblioteca de Hugging Face Transformers anteriores a la v4.40.1.

Se ha incluido un parche para activar y desactivar el almacenamiento de tensores deduplicados en diferentes rangos. Para obtener más información, consulte el hilo de debate en el repositorio de GitHub de PyTorch.

Existe un problema conocido que hace que la pérdida se dispare y luego se reanude con un valor de pérdida más alto mientras se refina Llama-3 70B con paralelismo de tensores.

Se ha actualizado la biblioteca SMDDP a la v2.3.0.

Se ha actualizado la biblioteca NCCL a la v2.21.5.

Se ha actualizado el software EFA a la v1.32.0.

Se ha dejado de admitir la instalación de la biblioteca de Torch Distributed Experimental (torchdistX).

Contenedor de Docker de SMP para PyTorch v2.3.1 con CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121

Paquetes preinstalados

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Se ha corregido un error de ImportError que se producía al usar moe_load_balancing=balanced en torch.sagemaker.moe.moe_config.MoEConfig para paralelismo experto.

Se ha corregido un error de refinamiento que provocaba que la llamada de torch.sagemaker.transform emitiera KeyError cuando estaba activada load_state_dict_from_rank0.

Se ha corregido un error de memoria insuficiente (OOM) que se producía al cargar modelos de Mixture of Experts (MoE) de gran tamaño, como Mixtral 8x22B, para realizar refinamientos precisos.

Contenedor de Docker de SMP para PyTorch v2.2.0 con CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Se ha agregado una nueva característica esencial, paralelismo experto, para admitir modelos de transformador de Mixture of Experts. Para obtener más información, consulte Paralelismo experto.

Contenedor de Docker de SMP para PyTorch v2.2.0 con CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Se ha agregado compatibilidad con entrenamiento de FP8 de los siguientes modelos de Hugging Face Transformer en instancias P5 con integración de Transformer Engine:

Se ha corregido un error que impedía garantizar que los tensores fueran contiguos antes de la llamada colectiva de AllGather durante el entrenamiento de paralelismo de tensores.

Se ha añadido compatibilidad con PyTorch v2.2.0.

Se ha actualizado la biblioteca SMDDP a la v2.2.0.

Se ha actualizado la biblioteca FlashAttention a la v2.3.3.

Se ha actualizado la biblioteca NCCL a la v2.19.4.

Se han dejado de admitir las versiones de Transformer Engine anteriores a la v1.2.0.

La característica Descarga de activación de SMP no funciona actualmente. Utilice la descarga de activaciones nativa de PyTorch.

Se ha incluido un parche para corregir la regresión del rendimiento analizada en el hilo de problemas en https://github.com/pytorch/pytorch/issues/117748 en el repositorio de PyTorch GitHub.

Contenedor de Docker de SMP para PyTorch v2.2.0 con CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Se ha añadido compatibilidad con PyTorch v2.1.2.

Se ha dejado de admitir Hugging Face Transformers v4.31.0.

Se ha descubierto un problema por el cual el refinamiento del modelo de Hugging Face Llama 2 con attn_implementation=flash_attention_2 y FSDP provoca que el modelo diverja. Como referencia, consulte el ticket de problema en el repositorio de GitHub de Hugging Face Transformers. Para evitar el problema de la divergencia, use attn_implementation=sdpa. Como alternativa, utilice la implementación del modelo de transformador de SMP mediante la configuración de use_smp_implementation=True.

Contenedor de Docker de SMP para PyTorch v2.1.2 con CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Un nuevo paquete de torch.sagemaker, completamente renovado respecto al paquete de smdistributed.modelparallel.torch anterior en SMP v1.x.

Compatibilidad con PyTorch v2.0.1.

Compatibilidad con PyTorch FSDP.

Implementación del paralelismo de tensores mediante la integración con la biblioteca de Transformer Engine.

Compatibilidad con Entrenamiento de SageMaker y SageMaker HyperPod.

SMP v2 ha renovado las API por completo y proporciona el paquete de torch.sagemaker. Principalmente, solo necesita inicializar con el módulo de torch.sagemaker.init() y pasar parámetros de configuración paralela de modelos. Con este nuevo paquete puede simplificar considerablemente las modificaciones de código en el script de entrenamiento. Para obtener más información sobre cómo adaptar su script de entrenamiento para usar SMP v2, consulte Uso de la biblioteca de paralelismo de modelos de SageMaker v2.

Si ha utilizado SMP v1 para entrenar modelos de Hugging Face Transformer y quiere reutilizarlos en SMP v2, consulte Actualización de SMP v1 a SMP v2.

Para entrenamiento de PyTorch FSDP debe usar SMP v2.

Actualmente, los puntos de comprobación de activación solo funcionan con las siguientes políticas de encapsulamiento con FSDP.

Para utilizar Descarga de activación, el tipo de punto de comprobación de activación de FSDP debe ser REENTRANT.

Cuando se ejecuta con paralelismo de tensores habilitado con el grado de paralelo de datos particionados establecido en 1, debe usar backend = nccl. La opción de backend de smddp no es compatible en este escenario.

Se requiere Transformer Engine para usar PyTorch con la biblioteca de SMP incluso cuando no se usa paralelismo de tensores.

A partir de esta versión, la documentación de la biblioteca de paralelismo de modelos de SageMaker está totalmente disponible en esta Guía para desarrolladores de Amazon SageMaker AI. La referencia adicional de SMP v1.x de la documentación del SageMaker Python SDK ha quedado obsoleta en favor de esta completa guía para desarrolladores de SMP v2 incluida en la Guía para desarrolladores de Amazon SageMaker AI. Si sigue necesitando la documentación de SMP v1.x, la guía para desarrolladores de SMP v1.x está disponible en (Archivado) Biblioteca de paralelismo de modelos de SageMaker v1.x y la referencia de la biblioteca Python de SMP v1.x está disponible en la documentación del SageMaker Python SDK v2.199.0.

Se ha dejado de admitir TensorFlow.

SMP v2 no admite paralelismo de canalización.

No hay compatibilidad con la biblioteca DeepSpeed en favor de PyTorch FSDP nativo.

Contenedor de Docker de SMP para PyTorch v2.0.1 con CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.0.1-gpu-py310-cu121