Reducción vertical de un clúster de SageMaker HyperPod

Puede reducir verticalmente el número de instancias que se ejecutan en su clúster de Amazon SageMaker HyperPod. Puede reducir verticalmente un clúster por varios motivos, como rebajar el uso de los recursos o para optimizar los costos.

En la página siguiente se describen dos enfoques principales para reducir verticalmente:

Consideraciones importantes

Reducción vertical en el grupo de instancias

La operación UpdateCluster le permite realizar cambios en la configuración del clúster de SageMaker HyperPod, como reducir verticalmente el número de instancias de un grupo de instancias o eliminar grupos de instancias completos. Esto puede resultar útil si quiere adaptar los recursos asignados a su clúster en función de los cambios en su carga de trabajo, optimizar los costos o cambiar el tipo de instancia de un grupo de instancias.

Reducción vertical de un grupo de instancias

Use este enfoque cuando tenga un grupo de instancias inactivo y sea seguro terminar cualquiera de las instancias para llevar a cabo la reducción vertical. Si envía una solicitud UpdateCluster para reducir verticalmente, HyperPod selecciona las instancias que se van a terminar de forma aleatoria y las reduce verticalmente hasta alcanzar la cantidad de nodos especificada para el grupo de instancias.

A continuación se muestra un ejemplo de un objeto JSON UpdateCluster: Piense en una situación en la que su grupo de instancias tiene 2 instancias en ejecución. Si establece el campo InstanceCount en 1, tal como se muestra en el ejemplo, HyperPod selecciona aleatoriamente una de las instancias y la termina.

{
  "ClusterName": "name-of-cluster-to-update",
  "InstanceGroups": [
    {
      "InstanceGroupName": "training-instances",
      "InstanceType": "instance-type",
      "InstanceCount": 1,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://amzn-s3-demo-bucket/training-script.py",
        "OnCreate": "s3://amzn-s3-demo-bucket/setup-script.sh"
      },
      "ExecutionRole": "arn:aws:iam::123456789012:role/SageMakerRole",
      "ThreadsPerCore": number-of-threads,
      "OnStartDeepHealthChecks": [
        "InstanceStress",
        "InstanceConnectivity"
      ]
    }
  ],
  "NodeRecovery": "Automatic"
}

Eliminación de grupos de instancias

Puede utilizar la operación UpdateCluster para eliminar grupos de instancias enteros del clúster de SageMaker HyperPod cuando ya no los necesite. Esto va más allá de una simple reducción vertical, pues le permite eliminar por completo grupos de instancias específicos de la configuración del clúster.

A continuación se muestra un ejemplo de un objeto JSON UpdateCluster: Piense en una situación en la que un clúster tiene 3 grupos de instancias: un grupo training, uno prototype-training y uno inference-serving. Desea eliminar el grupo prototype-training.

{
  "ClusterName": "name-of-cluster-to-update",
  "InstanceGroups": [
    {
      "InstanceGroupName": "training",
      "InstanceType": "instance-type",
      "InstanceCount": ,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://amzn-s3-demo-bucket/training-script.py",
        "OnCreate": "s3://amzn-s3-demo-bucket/setup-script.sh"
      },
      "ExecutionRole": "arn:aws:iam::123456789012:role/SageMakerRole",
      "ThreadsPerCore": number-of-threads,
      "OnStartDeepHealthChecks": [
        "InstanceStress",
        "InstanceConnectivity"
      ]
    },
    {
      "InstanceGroupName": "inference-serving",
      "InstanceType": "instance-type",
      "InstanceCount": 2,
      [...]
    },
  ],
  "InstanceGroupsToDelete": [ "prototype-training" ],
  "NodeRecovery": "Automatic"
}

Reducción vertical en la instancia

La operación BatchDeleteClusterNodes le permite reducir verticalmente un clúster de SageMaker HyperPod especificando los nodos individuales que desea terminar. BatchDeleteClusterNodes proporciona un control más detallado para la eliminación de nodos específicos y la optimización del clúster. Por ejemplo, puede utilizar BatchDeleteClusterNodes para eliminar los nodos de destino con fines de mantenimiento, para actualizaciones continuas o para reequilibrar los recursos geográficamente.

Solicitud y respuesta de la API

Al enviar una solicitud BatchDeleteClusterNodes, SageMaker HyperPod elimina los nodos según los ID de instancia. La API acepta una solicitud con el nombre del clúster y una lista de ID de los nodos que se van a eliminar.

La respuesta incluye dos secciones:

Validación y gestión de errores

La API realiza varias validaciones, como:

Códigos de respuesta de la API

Ejemplo

El siguiente es un ejemplo de reducción vertical de un clúster en la instancia usando la AWS CLI:

aws sagemaker batch-delete-cluster-nodes --cluster-name "cluster-name" --node-ids '["i-111112222233333", "i-111112222233333"]'