Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Aprovisionamiento continuo para mejorar las operaciones del clúster en Amazon EKS

SageMaker HyperPod Los clústeres de Amazon creados con la orquestación de Amazon EKS ahora admiten el aprovisionamiento continuo, una nueva capacidad que permite una mayor flexibilidad y eficiencia al ejecutar cargas de trabajo a gran escala AI/ML . El aprovisionamiento continuo le permite empezar a entrenar rápidamente, escalar sin problemas, realizar tareas de mantenimiento sin interrumpir las operaciones y obtener una visión detallada de las operaciones del clúster.

Funcionamiento

El sistema de aprovisionamiento continuo presenta una arquitectura de estado deseado que reemplaza el modelo tradicional basado en solicitudes. Esta nueva arquitectura admite operaciones paralelas y sin bloqueo en diferentes niveles de recursos sin afectar a la estabilidad y el rendimiento del sistema. El sistema de aprovisionamiento continuo:

El aprovisionamiento continuo está deshabilitado de forma predeterminada. Para utilizar esta característica, debe configurar --node-provisioning-mode en Continuous.

Con el aprovisionamiento continuo activado, puede iniciar varias operaciones de escalado simultáneamente sin esperar a que se completen las operaciones anteriores. Esto le permite escalar diferentes grupos de instancias en el mismo clúster de forma simultánea y enviar varias solicitudes de escalado al mismo grupo de instancias.

El aprovisionamiento continuo también le permite acceder a una supervisión detallada de los eventos DescribeClusterEventy a una ListClusterEventvisibilidad operativa, así como a una visibilidad operativa.

Medición de uso

HyperPod Los clústeres con aprovisionamiento continuo utilizan la medición a nivel de instancia para proporcionar una facturación precisa que refleje el uso real de los recursos. Este enfoque de medición se diferencia de la facturación tradicional de clústeres, ya que hace un seguimiento de cada instancia de forma independiente.

Facturación por instancia

Con el aprovisionamiento continuo, la facturación comienza y termina en cada instancia en lugar de esperar a que cambie el estado del clúster. A continuación se enumeran los beneficios de este enfoque:

Ciclo de vida de facturación

Cada instancia del HyperPod clúster sigue este ciclo de vida de facturación:

Creación de un clúster con el aprovisionamiento continuo activado

La siguiente AWS CLI operación crea un HyperPod clúster con un grupo de instancias y el aprovisionamiento continuo activados.

aws sagemaker create-cluster \ 
--cluster-name $HP_CLUSTER_NAME \
--orchestrator 'Eks={ClusterArn='$EKS_CLUSTER_ARN'}' \
--vpc-config '{
   "SecurityGroupIds": ["'$SECURITY_GROUP'"],
   "Subnets": ["'$SUBNET'"]
}' \
--instance-groups '{
   "InstanceGroupName": "ig-1",
   "InstanceType": "ml.c5.2xlarge",
   "InstanceCount": 2,
   "LifeCycleConfig": {
      "SourceS3Uri": "s3://'$BUCKET_NAME'",
      "OnCreate": "on_create_noop.sh"
   },
   "ExecutionRole": "'$EXECUTION_ROLE'",
   "ThreadsPerCore": 1,
   "TrainingPlanArn": ""
}' \
--node-provisioning-mode Continuous


// Expected Output:
{
    "ClusterArn": "arn:aws:sagemaker:us-west-2:<account-id>:cluster/<cluster-id>"
}

Una vez que hayas creado el clúster, puedes usar ListClusterNodeso DescribeClusterNodepara obtener más información sobre los nodos del clúster.

Al llamar a estas operaciones, se devolverá un ClusterInstanceStatusDetailsobjeto con uno de los siguientes valores:

Requisitos mínimos de capacidad () MinCount

La MinCount función te permite especificar la cantidad mínima de instancias que se deben aprovisionar correctamente antes de que un grupo de instancias pase al InService estado. Esta función proporciona un mejor control sobre las operaciones de escalado y ayuda a evitar situaciones en las que los grupos de instancias parcialmente aprovisionados no se puedan usar de manera eficaz para entrenar cargas de trabajo.

¿Cómo funciona MinCount

Cuando creas o actualizas un grupo de instancias con la MinCount opción habilitada, se produce el siguiente comportamiento:

Estado del grupo de instancias durante las operaciones MinCount

Los grupos de instancias MinCount configurados muestran el siguiente comportamiento de estado:

Durante nuestro Creating Updating estado, se aplican las siguientes restricciones:

Comportamiento de reversión automática

Si un grupo de instancias no puede llegar al suyo MinCount en un plazo de 3 horas, el sistema inicia automáticamente una reversión para evitar esperas indefinidas:

El tiempo de espera de 3 horas se restablece cada vez que se actualiza. MinCount Por ejemplo, si actualizas MinCount varias veces, el período de espera comienza desde la actualización más reciente.

MinCount eventos

El sistema emite eventos específicos para ayudarle a realizar un seguimiento de MinCount las operaciones:

Puede supervisar estos eventos mediante ListClusterEventsel seguimiento del progreso de sus operaciones. MinCount

Uso de la API

MinCount se especifica mediante el MinInstanceCount parámetro en las configuraciones de grupos de instancias:

aws sagemaker create-cluster \
--cluster-name $HP_CLUSTER_NAME \
--orchestrator 'Eks={ClusterArn='$EKS_CLUSTER_ARN'}' \
--vpc-config '{
   "SecurityGroupIds": ["'$SECURITY_GROUP'"],
   "Subnets": ["'$SUBNET'"]
}' \
--instance-groups '{
   "InstanceGroupName": "worker-group",
   "InstanceType": "ml.p4d.24xlarge",
   "InstanceCount": 64,
   "MinInstanceCount": 50,
   "LifeCycleConfig": {
      "SourceS3Uri": "s3://'$BUCKET_NAME'",
      "OnCreate": "on_create.sh"
   },
   "ExecutionRole": "'$EXECUTION_ROLE'"
}' \
--node-provisioning-mode Continuous

Consideraciones clave de MinCount uso:

Grupos de instancias flexibles

Los grupos de instancias flexibles te permiten especificar varios tipos de instancias dentro de un único grupo de instancias. Esto simplifica la administración de clústeres al reducir la cantidad de grupos de instancias que necesitas crear y administrar, especialmente para las cargas de trabajo de inferencia que utilizan el escalado automático.

Con grupos de instancias flexibles, puedes: HyperPod

Crea un clúster con un grupo de instancias flexible

InstanceRequirementsUtilízalo en lugar de InstanceType para crear un grupo de instancias flexible. El orden de los tipos de instancias de la lista determina la prioridad del aprovisionamiento.

aws sagemaker create-cluster \
--cluster-name $HP_CLUSTER_NAME \
--orchestrator 'Eks={ClusterArn='$EKS_CLUSTER_ARN'}' \
--vpc-config '{
   "SecurityGroupIds": ["'$SECURITY_GROUP'"],
   "Subnets": ["'$SUBNET_AZ1'", "'$SUBNET_AZ2'"]
}' \
--instance-groups '[{
   "InstanceGroupName": "flexible-ig",
   "InstanceRequirements": {
      "InstanceTypes": ["ml.p5.48xlarge", "ml.p4d.24xlarge", "ml.g6.48xlarge"]
   },
   "InstanceCount": 10,
   "LifeCycleConfig": {
      "SourceS3Uri": "s3://'$BUCKET_NAME'",
      "OnCreate": "on_create.sh"
   },
   "ExecutionRole": "'$EXECUTION_ROLE'"
}]' \
--node-provisioning-mode Continuous

Escalado específico con BatchAddClusterNodes

Si usas grupos de instancias flexibles, puedes usarlos BatchAddClusterNodespara agregar nodos con tipos de instancias y zonas de disponibilidad específicos. Esto resulta especialmente útil cuando el escalado automático de Karpenter determina el tipo de instancia y la zona de disponibilidad óptimos para tu carga de trabajo.

aws sagemaker batch-add-cluster-nodes \
--cluster-name $HP_CLUSTER_NAME \
--nodes-to-add '[
   {
      "InstanceGroupName": "flexible-ig",
      "IncrementTargetCountBy": 1,
      "InstanceTypes": ["ml.p5.48xlarge"],
      "AvailabilityZones": ["us-west-2a"]
   }
]'

Consulta los detalles de los grupos de instancias flexibles

DescribeClusterUtilízalo para ver los tipos de instancias y el desglose por tipo de tu grupo de instancias flexible. La respuesta incluye:

Uso de grupos de instancias flexibles con el escalado automático de Karpenter

Los grupos de instancias flexibles se integran con el escalado automático gestionado HyperPod de Karpenter. Para obtener más información sobre la configuración de Karpenter, consulte. Escalado automático en EKS SageMaker HyperPod Cuando haces referencia a un grupo de instancias flexible en una HyperPodNodeClass configuración, Karpenter automáticamente:

Esto elimina la necesidad de crear grupos de instancias independientes para cada tipo de instancia y configurar Karpenter manualmente para que haga referencia a varios grupos.