Script del ciclo di vita di base forniti da HyperPod

provisioning_parameters.json: questo è un Modulo di configurazione per il provisioning dei nodi Slurm su HyperPod. Lo script on_create.sh trova questo file JSON e definisce la variabile di ambiente per identificarne il percorso. Tramite questo file JSON, puoi configurare nodi Slurm e opzioni di archiviazione come Amazon FSx per Lustre con cui Slurm può comunicare. In provisioning_parameters.json, assicurati di assegnare i gruppi di istanze del cluster HyperPod utilizzando correttamente i nomi specificati in create_cluster.json per i nodi Slurm in base a come intendi configurarli.

Il diagramma seguente mostra un esempio di come i due file di configurazione JSON create_cluster.json e provisioning_parameters.json devono essere scritti per assegnare i gruppi di istanze HyperPod ai nodi Slurm. In questo esempio, supponiamo di dover configurare tre nodi Slurm: il nodo controller (gestione), il nodo login (facoltativo) e il nodo di calcolo (worker).

Figura: un confronto diretto tra create_cluster.json per la creazione di cluster HyperPod e provisiong_params.json per la configurazione di Slurm. Il numero di gruppi di istanze in create_cluster.json deve corrispondere al numero di nodi che intendi configurare come nodi Slurm. Nel caso dell’esempio in figura, verranno configurati tre nodi Slurm su un cluster HyperPod composto da tre gruppi di istanze. È necessario assegnare i gruppi di istanze del cluster HyperPod ai nodi Slurm specificando in modo appropriato i nomi dei gruppi di istanze.

resource_config.json: durante la creazione del cluster, lo script lifecycle_script.py viene scritto in modo da prevedere un file resource_config.json da HyperPod. Questo file contiene informazioni sul cluster, ad esempio i tipi di istanze e gli indirizzi IP.

Quando esegui l’API CreateCluster, HyperPod crea un file di configurazione delle risorse in /opt/ml/config/resource_config.json in base al file create_cluster.json. Il percorso del file viene salvato nella variabile di ambiente denominata SAGEMAKER_RESOURCE_CONFIG_PATH.

{

    "ClusterConfig": {
        "ClusterArn": "arn:aws:sagemaker:us-west-2:111122223333:cluster/abcde01234yz",
        "ClusterName": "your-hyperpod-cluster"
    },
    "InstanceGroups": [
        {
            "Name": "controller-machine",
            "InstanceType": "ml.c5.xlarge",
            "Instances": [
                {
                    "InstanceName": "controller-machine-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        },
        {
            "Name": "login-group",
            "InstanceType": "ml.m5.xlarge",
            "Instances": [
                {
                    "InstanceName": "login-group-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        },
        {
            "Name": "compute-nodes",
            "InstanceType": "ml.trn1.32xlarge",
            "Instances": [
                {
                    "InstanceName": "compute-nodes-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-2",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-3",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-4",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        }
    ]
}

lifecycle_script.py: questo è lo script Python principale che esegue collettivamente gli script del ciclo di vita configurando Slurm sul cluster HyperPod durante il provisioning. Questo script legge provisioning_parameters.json e resource_config.json nei percorsi specificati o identificati in on_create.sh, passa le informazioni pertinenti a ogni script del ciclo di vita e quindi esegue in ordine gli script del ciclo di vita.

Gli script del ciclo di vita sono un set di script che offre la massima flessibilità di personalizzazione e consente di installare pacchetti software e impostare le configurazioni necessarie o personalizzate durante la creazione di cluster, ad esempio la configurazione di Slurm, la creazione di utenti e l’installazione di Conda o Docker. Lo script lifecycle_script.py di esempio è pronto per eseguire altri script del ciclo di vita di base nel repository, ad esempio per l’avvio di deamons Slurm (start_slurm.sh), il montaggio di Amazon FSx per Lustre (mount_fsx.sh) e la configurazione dell’accounting MariaDB (setup_mariadb_accounting.sh) e RDS (setup_rds_accounting.sh). Puoi anche aggiungere altri script, posizionarli nella stessa directory e aggiungere righe di codice a lifecycle_script.py per consentire a HyperPod di eseguire gli script. Per ulteriori informazioni sugli script del ciclo di vita di base, consulta anche 3.1 Lifecycle scripts in Awsome Distributed Training GitHub repository.

Oltre alle configurazioni predefinite, nella cartella utils sono disponibili altri script per l’installazione dei software seguenti. Il file lifecycle_script.py è già pronto per includere righe di codice per l’esecuzione degli script di installazione, quindi consulta le indicazioni seguenti per cercare tali righe e rimuovi i commenti per attivarle.