Commencer à SageMaker HyperPod utiliser le AWS CLI

Tout d’abord, préparez et chargez des scripts de cycle de vie dans un compartiment Amazon S3. Lors de la création du cluster, HyperPod exécutez-les dans chaque groupe d'instances. Chargez des scripts de cycle de vie sur Amazon S3 à l’aide de la commande suivante.

aws s3 sync \
    ~/local-dir-to-lifecycle-scripts/* \ 
    s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src

Si vous partez de zéro, utilisez des exemples de scripts de cycle de vie fournis dans le GitHub référentiel Awsome Distributed Training. Les sous-étapes suivantes montrent comment télécharger, ce qu’il faut modifier et comment charger les exemples de scripts de cycle de vie dans un compartiment Amazon S3.

1. Téléchargez une copie des exemples de scripts de cycle de vie dans un répertoire de votre ordinateur local.

   git clone https://github.com/aws-samples/awsome-distributed-training/

2. Accédez au répertoire 1.architectures/5.sagemaker_hyperpods/LifecycleScripts/base-config, où vous trouverez un ensemble de scripts de cycle de vie.

   cd awsome-distributed-training/1.architectures/5.sagemaker_hyperpods/LifecycleScripts/base-config

   Pour en savoir plus sur les exemples de scripts de cycle de vie, consultez Personnalisation des SageMaker HyperPod clusters à l'aide de scripts de cycle de vie.

3. Écrivez un fichier de configuration Slurm et enregistrez-le sous provisioning_parameters.json. Dans le fichier, spécifiez les paramètres de configuration de base de Slurm pour attribuer correctement les nœuds Slurm aux groupes d'instances du SageMaker HyperPod cluster. Dans ce didacticiel, configurez trois nœuds Slurm nommés my-controller-group, my-login-group et worker-group-1, comme indiqué dans l’exemple de configuration suivant provisioning_parameters.json.

   {
       "version": "1.0.0",
       "workload_manager": "slurm",
       "controller_group": "my-controller-group",
       "login_group": "my-login-group",
       "worker_groups": [
           {
               "instance_group_name": "worker-group-1",
               "partition_name": "partition-1"
           }
       ]
   }

4. Chargez les scripts dans s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src. Vous pouvez le faire en utilisant la console Amazon S3 ou en exécutant la commande de l’AWS CLI Amazon S3 suivante.

   aws s3 sync \
       ~/local-dir-to-lifecycle-scripts/* \ 
       s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src

Préparez un fichier de CreateClusterdemande au format JSON et enregistrez-le souscreate_cluster.json. Le modèle de demande suivant s’aligne sur la configuration des nœuds Slurm définie dans provisioning_parameters.json à l’étape 1.c. Pour ExecutionRole, fournissez l’ARN du rôle IAM que vous avez créé avec la politique AmazonSageMakerClusterInstanceRolePolicy gérée dans Conditions préalables pour l’utilisation du SageMaker HyperPod..

{
    // Required: Specify the name of the cluster.
    "ClusterName": "my-hyperpod-cluster",
    // Required: Configure instance groups to be launched in the cluster
    "InstanceGroups": [
        {
            // Required: Specify the basic configurations to set up a controller node.
            "InstanceGroupName": "my-controller-group",
            "InstanceType": "ml.c5.xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
              "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
              "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "${ROLE}",
            // Optional: Configure an additional storage per instance group.
            "InstanceStorageConfigs": [
                {
                   // Attach an additional EBS volume to each instance within the instance group.
                   // The default mount path for the additional EBS volume is /opt/sagemaker.
                   "EbsVolumeConfig":{
                      // Specify an integer between 1 and 16384 in gigabytes (GB).
                      "VolumeSizeInGB": <integer>
                   }
                }
            ]
        },
        {
            "InstanceGroupName": "my-login-group",
            "InstanceType": "ml.m5.4xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
              "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
              "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "${ROLE}"
        },
        {
            "InstanceGroupName": "worker-group-1",
            "InstanceType": "ml.trn1.32xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
              "SourceS3Uri": "s3://sagemaker-<unique-s3-bucket-name>/<lifecycle-script-directory>/src",
              "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "${ROLE}"
        }
    ]
}

Exécutez la commande suivante pour créer le cluster.

aws sagemaker create-cluster --cli-input-json file://complete/path/to/create_cluster.json

Elle devrait renvoyer l’ARN du cluster créé.

Si vous recevez un message d’erreur dû à des limites de ressources, assurez-vous de remplacer le type d’instance par un type avec des quotas suffisants sur votre compte, ou demandez des quotas supplémentaires en suivant la section SageMaker HyperPod quotas.

Exécutez describe-cluster pour vérifier le statut du cluster.

aws sagemaker describe-cluster --cluster-name my-hyperpod-cluster

Une fois que le statut du cluster passe à InService, passez à l’étape suivante.

Exécutez list-cluster-nodes pour vérifier les détails des nœuds du cluster.

aws sagemaker list-cluster-nodes --cluster-name my-hyperpod-cluster

Cela renvoie une réponse et InstanceId correspond à ce dont les utilisateurs de votre cluster ont besoin pour s’y connecter (aws ssm). Pour plus d’informations sur la connexion aux nœuds du cluster et l’exécution de charges de travail ML, consultez Offres d'emploi sur SageMaker HyperPod des clusters.