Scripts de ciclo de vida básicos que proporciona HyperPod

provisioning_parameters.json: este es un Formulario de configuración para el aprovisionamiento de nodos de Slurm en HyperPod. El script on_create.sh busca este archivo JSON y define la variable de entorno para identificar la ruta al mismo. A través de este archivo JSON, puede configurar los nodos de Slurm y las opciones de almacenamiento, como Amazon FSx para Lustre, para que se comunique Slurm. En provisioning_parameters.json, asegúrese de asignar los grupos de instancias del clúster de HyperPod utilizando los nombres especificados en create_cluster.json para los nodos de Slurm, más o menos en función de cómo tenga pensado configurarlos.

En el siguiente diagrama, se muestra un ejemplo de cómo se deben escribir los dos archivos de configuración de JSON create_cluster.json y provisioning_parameters.json para asignar grupos de instancias de HyperPod a los nodos de Slurm. En este ejemplo, asumimos que se configuran tres nodos de Slurm: el nodo controlador (de administración), el nodo de inicio de sesión (que es opcional) y el nodo de computación (de trabajo).

Figura: comparación directa entre create_cluster.json para la creación de clústeres de HyperPod y provisiong_params.json para la configuración de Slurm. El número de grupos de instancias en create_cluster.json debe coincidir con el número de nodos que desea configurar como nodos de Slurm. En el caso del ejemplo de la figura, se configurarán tres nodos de Slurm en un clúster de HyperPod de tres grupos de instancias. Debe asignar los grupos de instancias del clúster de HyperPod a los nodos de Slurm especificando los nombres de los grupos de instancias correspondientes.

resource_config.json: durante la creación del clúster, el script lifecycle_script.py se escribe para que espere un archivo resource_config.json de HyperPod. Este archivo contiene información sobre el clúster, como los tipos de instancias y las direcciones IP.

Al ejecutar la API CreateCluster, HyperPod crea un archivo de configuración de recursos en /opt/ml/config/resource_config.json basado en el archivo create_cluster.json. La ruta del archivo se guarda en la variable de entorno denominada SAGEMAKER_RESOURCE_CONFIG_PATH.

{

    "ClusterConfig": {
        "ClusterArn": "arn:aws:sagemaker:us-west-2:111122223333:cluster/abcde01234yz",
        "ClusterName": "your-hyperpod-cluster"
    },
    "InstanceGroups": [
        {
            "Name": "controller-machine",
            "InstanceType": "ml.c5.xlarge",
            "Instances": [
                {
                    "InstanceName": "controller-machine-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        },
        {
            "Name": "login-group",
            "InstanceType": "ml.m5.xlarge",
            "Instances": [
                {
                    "InstanceName": "login-group-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        },
        {
            "Name": "compute-nodes",
            "InstanceType": "ml.trn1.32xlarge",
            "Instances": [
                {
                    "InstanceName": "compute-nodes-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-2",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-3",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-4",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        }
    ]
}

lifecycle_script.py: este es el script principal de Python que ejecuta de forma colectiva los scripts de ciclo de vida que configuran Slurm en el clúster de HyperPod mientras se aprovisiona. Este script lee en provisioning_parameters.json y resource_config.json desde las rutas especificadas o identificadas en on_create.sh, pasa la información relevante a cada script de ciclo de vida y, a continuación, ejecuta los scripts de ciclo de vida en orden.

Los scripts de ciclo de vida son un conjunto de scripts que puede personalizar con total flexibilidad para instalar paquetes de software y establecer las configuraciones necesarias o personalizadas durante la creación del clúster, como la configuración de Slurm, la creación de usuarios o la instalación de Conda o Docker. El script lifecycle_script.py de ejemplo está preparado para ejecutar otros scripts de ciclo de vida básicos en el repositorio, como la inicialización de deamons de Slurm (start_slurm.sh), el montaje de Amazon FSx para Lustre (mount_fsx.sh), y la configuración de la contabilidad de MariaDB (setup_mariadb_accounting.sh) y la contabilidad de RDS (setup_rds_accounting.sh). También puede añadir más scripts, empaquetarlos en el mismo directorio y añadir líneas de código en lifecycle_script.py para que HyperPod ejecute los scripts. Para obtener más información sobre los scripts de ciclo de vida básicos, consulte también la sección 3.1 Lifecycle scripts en el repositorio de GitHub de Awsome Distributed Training.

Además de las configuraciones predeterminadas, en la carpeta utils hay más scripts para instalar el siguiente software. El archivo lifecycle_script.py ya está preparado para incluir líneas de código para ejecutar los scripts de instalación, así que consulte los siguientes elementos para buscar esas líneas y quitar las marcas de comentario para activarlas.