Scripts de cycle de vie de base fournis par HyperPod

provisioning_parameters.json : il s’agit d’un Formulaire de configuration pour le provisionnement des nœuds Slurm sur HyperPod. Le script on_create.sh trouve ce fichier JSON et définit une variable d’environnement pour identifier le chemin d’accès à celui-ci. Grâce à ce fichier JSON, vous pouvez configurer les nœuds Slurm et les options de stockage telles qu'Amazon FSx pour que Lustre for Slurm communique avec. Dansprovisioning_parameters.json, assurez-vous d'attribuer les groupes d'instances de HyperPod cluster en utilisant les noms que vous avez spécifiés create_cluster.json aux nœuds Slurm de manière appropriée en fonction de la façon dont vous prévoyez de les configurer.

Le schéma suivant montre un exemple de la façon dont les deux fichiers create_cluster.json de configuration JSON provisioning_parameters.json doivent être écrits pour attribuer des groupes d' HyperPod instances aux nœuds Slurm. Dans cet exemple, nous supposons la configuration de trois nœuds Slurm : le nœud de contrôleur (gestion), le nœud de connexion (facultatif) et le nœud de calcul (composant master).

Figure : Comparaison directe entre la création create_cluster.json de HyperPod clusters et la configuration provisiong_params.json de Slurm. Le nombre de groupes d’instances dans create_cluster.json doit correspondre au nombre de nœuds que vous souhaitez configurer en tant que nœuds Slurm. Dans le cas de l'exemple de la figure, trois nœuds Slurm seront configurés sur un HyperPod cluster de trois groupes d'instances. Vous devez attribuer les groupes d'instances du HyperPod cluster aux nœuds Slurm en spécifiant les noms des groupes d'instances en conséquence.

resource_config.json— Lors de la création du cluster, le lifecycle_script.py script est écrit pour attendre un resource_config.json fichier de la part de HyperPod. Ce fichier contient des informations sur le cluster, telles que les types d’instances et les adresses IP.

Lorsque vous exécutez l'CreateClusterAPI, HyperPod crée un fichier de configuration des ressources sur la /opt/ml/config/resource_config.json base du create_cluster.json fichier. Le chemin du fichier est enregistré dans la variable d’environnement nommée SAGEMAKER_RESOURCE_CONFIG_PATH.

{

    "ClusterConfig": {
        "ClusterArn": "arn:aws:sagemaker:us-west-2:111122223333:cluster/abcde01234yz",
        "ClusterName": "your-hyperpod-cluster"
    },
    "InstanceGroups": [
        {
            "Name": "controller-machine",
            "InstanceType": "ml.c5.xlarge",
            "Instances": [
                {
                    "InstanceName": "controller-machine-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        },
        {
            "Name": "login-group",
            "InstanceType": "ml.m5.xlarge",
            "Instances": [
                {
                    "InstanceName": "login-group-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        },
        {
            "Name": "compute-nodes",
            "InstanceType": "ml.trn1.32xlarge",
            "Instances": [
                {
                    "InstanceName": "compute-nodes-1",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-2",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-3",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                },
                {
                    "InstanceName": "compute-nodes-4",
                    "AgentIpAddress": "111.222.333.444",
                    "CustomerIpAddress": "111.222.333.444",
                    "InstanceId": "i-12345abcedfg67890"
                }
            ]
        }
    ]
}

lifecycle_script.py— Il s'agit du script Python principal qui exécute collectivement les scripts de cycle de vie configurant Slurm sur le HyperPod cluster pendant le provisionnement. Ce script lit provisioning_parameters.json et resource_config.json à partir des chemins spécifiés ou identifiés dans on_create.sh, transmet les informations pertinentes à chaque script de cycle de vie, puis exécute les scripts de cycle de vie dans l’ordre.

Les scripts de cycle de vie sont un ensemble de scripts que vous pouvez personnaliser en toute flexibilité pour installer des packages logiciels et configurer les configurations nécessaires ou personnalisées lors de la création du cluster, telles que la configuration de Slurm, la création d’utilisateurs, l’installation de Conda ou de Docker. L'exemple de lifecycle_script.pyscript est préparé pour exécuter d'autres scripts de cycle de vie de base dans le référentiel, tels que le lancement de Slurm deamons () start_slurm.sh, le montage d'Amazon FSx pour Lustre (mount_fsx.sh) et la configuration de la comptabilité MariaDB () et de la comptabilité RDS (). setup_mariadb_accounting.shsetup_rds_accounting.sh Vous pouvez également ajouter d'autres scripts, les regrouper dans le même répertoire et ajouter des lignes de code pour lifecycle_script.py permettre l' HyperPod exécution des scripts. Pour plus d'informations sur les scripts de cycle de vie de base, voir également 3.1 Scripts de cycle de vie dans le GitHub référentiel Awsome Distributed Training.

Outre les configurations par défaut, d’autres scripts permettant d’installer les logiciels suivants sont disponibles dans le dossier utils. Le fichier lifecycle_script.py est déjà prêt à inclure des lignes de code pour exécuter les scripts d’installation. Par conséquent, consultez les éléments suivants pour rechercher ces lignes et les activer en supprimant les marques de commentaires.