Notas de la versión de Amazon SageMaker HyperPod

Se ha publicado una nueva AMI que actualiza el sistema operativo de Amazon Linux 2 a Amazon Linux 2023 para los clústeres de EKS. Las actualizaciones clave incluyen Linux Kernel 6.1, Python 3.10, el controlador NVIDIA 560.35.03 y el administrador de paquetes DNF que reemplaza a YUM.

Para obtener más información acerca de la nueva AMI y cómo actualizar los clústeres, consulte Versiones de la AMI de SageMaker HyperPod para Amazon EKS: 31 de julio de 2025.

Se ha publicado una AMI actualizada que admite Ubuntu 22.04 LTS para clústeres de Slurm. Esta versión incluye varias actualizaciones de componentes del sistema y del software para mejorar el rendimiento, actualizar las características y mejorar la seguridad.

Para obtener más información, consulte:

Se han añadido informes de uso de los clústeres orquestados por EKS, que permiten a las organizaciones implementar una asignación de costos transparente y basada en el uso entre los equipos, los proyectos o los departamentos. Esta característica complementa la funcionalidad de gobernanza de tareas de HyperPod para garantizar una distribución justa de los costos en entornos de IA/ML compartidos de varios inquilinos. Para obtener más información, consulte Informes sobre el uso de computación en HyperPod.

Se ha actualizado el controlador NVIDIA de la versión 550.144.03 a la 550.163.01. Esta actualización tiene por objeto abordar las vulnerabilidades y exposiciones comunes (CVE) que figuran en el NVIDIA GPU Display Security Bulletin for April 2025.

Se ha lanzado la nueva AMI de SageMaker HyperPod para Amazon EKS 1.32.1. Para obtener más información, consulte Versiones de la AMI de SageMaker HyperPod para Amazon EKS: 18 de abril de 2025.

Se ha añadido un tutorial de fórmulas de optimización de preferencias directas (DPO) para SageMaker HyperPod con orquestación de Slurm. Este tutorial de refinamiento detallado es una guía paso a paso para optimizar la alineación del modelo con el método DPO en clústeres de SageMaker HyperPod Slurm con tecnología GPU. Para obtener más información, consulte Tutorial de DPO del clúster de HyperPod Slurm (GPU).

Se ha añadido una página Inicio rápido para implementar los clústeres de SageMaker HyperPod. La página aprovecha los flujos de trabajo de configuración simplificados de los talleres especializados de SageMaker HyperPod y automatiza la implementación mediante plantillas de AWS CloudFormation prediseñadas. Es compatible con las preferencias de infraestructura, como Slurm o Amazon EKS, para facilitar la configuración y la implementación de los clústeres de referencia.

SageMaker HyperPod ahora admite los siguientes tipos de instancia para los clústeres de Slurm y Amazon EKS.

Se han agregado las siguientes claves de condición de IAM para un control de acceso más detallado en las operaciones de la API CreateCluster y UpdateCluster.

Ya se pueden eliminar grupos de instancias del clúster de HyperPod de SageMaker. Para obtener más información, consulte Eliminación de grupos de instancias para los clústeres orquestados por EKS y Reducción vertical de un clúster para los clústeres orquestados por Slurm.

Esta versión de SageMaker HyperPod incorpora una actualización de seguridad del kit de herramientas de contenedores de Nvidia (de la versión 1.17.3 a la versión 1.17.4). Para obtener más información, consulte la nota de la versión de 1.17.4.

Compatibilidad mejorada con múltiples zonas de disponibilidad de SageMaker HyperPod puede especificar diferentes subredes y grupos de seguridad que abarquen distintas zonas de disponibilidad para los grupos de instancias individuales de su clúster. Para obtener más información sobre la compatibilidad con múltiples zonas de disponibilidad de SageMaker HyperPod, consulte Configuración de clústeres de SageMaker HyperPod en múltiples zonas de disponibilidad.

Versiones de la AMI de SageMaker HyperPod para Amazon EKS: 22 de enero de 2025

Se ha añadido compatibilidad con IPv6: los clústeres pueden usar direcciones IPv6 cuando se configuran con subredes y VPC activadas para IPv6. Para obtener más información, consulte Configuración de SageMaker HyperPod con una Amazon VPC personalizada.

SageMaker HyperPod ahora admite los siguientes tipos de instancia para los clústeres de Slurm y Amazon EKS.

Se ha mejorado la visibilidad del registro de errores cuando Slurm interrumpe los trabajos y se ha evitado la finalización innecesaria de los trabajos durante las cancelaciones de trabajos iniciados por Slurm.

Se ha actualizado la DLAMI básica para p5en para los clústeres de Slurm y Amazon EKS.

Versiones de la AMI de SageMaker HyperPod para Slurm: 21 de diciembre de 2024

Versiones de la AMI de SageMaker HyperPod para Amazon EKS: 21 de diciembre de 2024

SageMaker HyperPod ha publicado un conjunto de métricas de Amazon CloudWatch para supervisar el estado y el rendimiento de los clústeres de SageMaker HyperPod Slurm. Estas métricas están relacionadas con la CPU, la GPU, el uso de la memoria y la información de las instancias del clúster, como el número de nodos y los nodos con errores. Esta característica de supervisión está activada de forma predeterminada. Además, se puede acceder a las métricas en el espacio de nombres de CloudWatch /aws/sagemaker/Clusters. También puede configurar las alarmas de CloudWatch en función de estas métricas para detectar y abordar de forma proactiva los posibles problemas en sus clústeres de HyperPod basados en Slurm. Para obtener más información, consulte Métricas de Amazon SageMaker HyperPod Slurm.

Versiones de la AMI de SageMaker HyperPod para Amazon EKS: 13 de diciembre de 2024

Se ha añadido compatibilidad para configurar los clústeres de SageMaker HyperPod en varias zonas de disponibilidad. Para obtener más información sobre la compatibilidad con múltiples zonas de disponibilidad de SageMaker HyperPod, consulte Configuración de clústeres de SageMaker HyperPod en múltiples zonas de disponibilidad.

Versiones de la AMI de SageMaker HyperPod para Slurm: 24 de noviembre de 2024

Versiones de la AMI de SageMaker HyperPod para Amazon EKS: 24 de noviembre de 2024

Se ha añadido compatibilidad con los tipos de instancia trn1 y trn1n para los clústeres orquestados por Amazon EKS y Slurm.

Ha mejorado la administración de registros para los clústeres de Slurm:

Se ha ajustado la configuración de Fluent Bit para evitar problemas de seguimiento con archivos que contienen líneas largas.

Se ha evitado el truncamiento involuntario al actualizar nodos del controlador Slurm en el archivo de configuración slurm.config.

Versiones de la AMI de SageMaker HyperPod para Slurm: 15 de noviembre de 2024

Versiones de la AMI de SageMaker HyperPod para Amazon EKS: 15 de noviembre de 2024

La AMI de SageMaker HyperPod ahora admite tipos de instancia G6e.

Versiones de la AMI de SageMaker HyperPod para Slurm: 11 de noviembre de 2024

Versiones de la AMI de SageMaker HyperPod para Amazon EKS: 11 de noviembre de 2024

Se ha agregado la reducción vertical de los clústeres de SageMaker HyperPod por grupo de instancias e instancia para los clústeres orquestados por Amazon EKS y Slurm. Para obtener más información sobre cómo reducir verticalmente los clústeres de Amazon EKS, consulte Reducción vertical de un clúster de SageMaker HyperPod. Para obtener más información sobre cómo reducir verticalmente los clústeres de Slurm, consulte Reducción vertical de un clúster en Administración de clústeres de SageMaker HyperPod Slurm con la CLI de AWS CLI.

SageMaker HyperPod ahora admite el tipo de instancia P5e para los clústeres orquestados por Slurm y Amazon EKS.

SageMaker HyperPod ahora admite los tipos de instancia P5e[n], G6, Gr6 y Trn2[n] para los clústeres orquestados por Slurm y Amazon EKS.

Versiones de la AMI de SageMaker HyperPod para Slurm: 21 de octubre de 2024

Versiones de la AMI de SageMaker HyperPod para Amazon EKS: 21 de octubre de 2024

Se ha añadido compatibilidad con Amazon EKS en SageMaker HyperPod. Para obtener más información, consulte Orquestación de clústeres de SageMaker HyperPod con Amazon EKS.

Se ha añadido compatibilidad para administrar los clústeres de SageMaker HyperPod a través CloudFormation y Terraform. Para obtener más información sobre la administración de clústeres de HyperPod medianteCloudFormation, consulte la documentación de CloudFormation para AWS::SageMaker::Cluster. Para obtener más información sobre cómo administrar los clústeres de HyperPod a través de Terraform, consulte la documentación de Terraform para awscc_sagemaker_cluster.

Versiones de la AMI de SageMaker HyperPod para Slurm: 10 de septiembre de 2024

Versiones de la AMI de SageMaker HyperPod para Amazon EKS: 10 de septiembre de 2024

Se ha mejorado la función de reanudación automática de SageMaker HyperPod, lo que amplía la capacidad de resiliencia de los nodos de Slurm asociados a Generic RESources (GRES).

Cuando hay Generic Resources (GRES) asociados a un nodo de Slurm, Slurm no suele permitir cambios en la asignación de nodos, como la sustitución de nodos, y, por tanto, no permite reanudar un trabajo fallido. A menos que se prohíba explícitamente, la función de reanudación automática de HyperPod vuelve a poner en cola automáticamente cualquier trabajo defectuoso asociado a nodos habilitados para GRES. Este proceso implica detener el trabajo, volver a ponerlo en la cola de trabajos y, a continuación, reiniciarlo desde el principio.

Se ha empaquetado previamente slurmrestd en la AMI de SageMaker HyperPod.

Se han modificado los valores predeterminados de ResumeTimeout y UnkillableStepTimeout de 60 a 300 segundos en slurm.conf para mejorar la capacidad de respuesta del sistema y la gestión de los trabajos.

Se han realizado pequeñas mejoras en las comprobaciones de estado de NVIDIA Data Center GPU Manager (DCGM) y de NVIDIA System Management Interface (nvidia-smi).

El complemento de reanudación automática de HyperPod puede utilizar nodos inactivos para reanudar un trabajo.

Se ha añadido una nueva capacidad de asociar almacenamiento adicional a las instancias del clúster de SageMaker HyperPod. Con esta capacidad, puede configurar almacenamiento adicional en el nivel de configuración del grupo de instancias durante los procesos de creación o actualización del clúster, ya sea a través de la consola de SageMaker HyperPod o de las API CreateCluster y UpdateCluster. El volumen de EBS adicional se asocia a cada instancia de un clúster de SageMaker HyperPod y se monta en /opt/sagemaker. Para obtener más información sobre su implementación en el clúster de SageMaker HyperPod, consulte la documentación actualizada en las páginas siguientes.

Tenga en cuenta que debe actualizar el software del clúster de HyperPod para utilizar esta capacidad. Tras aplicar los parches al software del clúster de HyperPod, puede utilizar esta capacidad para los clústeres de SageMaker HyperPod existentes creados antes del 20 de junio de 2024 añadiendo nuevos grupos de instancias. Esta capacidad estará totalmente disponible para todos los clústeres de SageMaker HyperPod creados a partir del 20 de junio de 2024.

Ejecute el siguiente comando para llamar a la API UpdateClusterSoftware y actualizar los clústeres de HyperPod existentes con la última DLAMI de HyperPod. Para obtener más instrucciones, consulte Actualización del software de la plataforma de un clúster de SageMaker HyperPod.

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

Se ha corregido un error con el parámetro ThreadsPerCore de la API ClusterInstanceGroupSpecification. Con esta corrección, las API CreateCluster y UpdateCluster reciben y aplican correctamente las entradas del usuario a través de ThreadsPerCore. Esta corrección resulta eficaz en clústeres de HyperPod creados a partir del 24 de abril de 2024. Si ha tenido problemas con este error y desea aplicar esta corrección a su clúster, debe crear un clúster nuevo. Asegúrese de hacer copia de seguridad de su trabajo y restaurarlo al trasladarse a un clúster nuevo siguiendo las instrucciones que se indican en Utilice el script de copia de seguridad que le proporciona SageMaker HyperPod.

En esta versión de la DLAMI de HyperPod, Slurm se ha compilado con el servicio REST (slurmestd) con compatibilidad con JSON, YAML y JWT.

Se ha actualizado Slurm a la versión 23.11.3.

Se ha incrementado el tiempo de espera del servicio de reanudación automática a 60 minutos.

Se ha mejorado el proceso de sustitución de instancias para no reiniciar el controlador Slurm.

Se han mejorado los mensajes de error al ejecutar scripts de ciclo de vida, como los errores de descarga y los errores de comprobación de estado de la instancia al iniciar la instancia.

Se ha corregido un error en el servicio Chrony que provocaba un problema con la sincronización horaria.

Se ha corregido un error con el análisis de slurm.conf.

Se ha corregido un problema con la biblioteca go-dcgm de NVIDIA.

HyperPod ahora admite correctamente el paso de los nombres de las particiones proporcionados mediante provisioning_parameters.json y crea las particiones de forma adecuada en función de las entradas proporcionadas. Para obtener más información sobre provisioning_parameters.json, consulte Formularios de SageMaker HyperPod y Personalización de los clústeres de SageMaker HyperPod con scripts de ciclo de vida.

Versiones de la AMI de SageMaker HyperPod para Slurm: 14 de marzo de 2024

Se ha añadido una nueva API UpdateClusterSoftware para los parches de seguridad de SageMaker HyperPod. Cuando haya parches de seguridad disponibles, le recomendamos que actualice los clústeres de SageMaker HyperPod existentes en su cuenta ejecutando aws sagemaker update-cluster-software --cluster-name your-cluster-name. Para estar al día de los futuros parches de seguridad, no deje de consultar esta página de notas de la versión de Amazon SageMaker HyperPod. Para obtener más información sobre cómo trabaja la API UpdateClusterSoftware, consulte Actualización del software de la plataforma de un clúster de SageMaker HyperPod.

Se ha presentado Amazon SageMaker HyperPod en AWS re:Invent 2023.

Versiones de la AMI de SageMaker HyperPod para Slurm: 29 de noviembre de 2023