Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

SageMaker HyperPod références

Vous trouverez plus d'informations et de références sur l'utilisation SageMaker HyperPod dans les rubriques suivantes.

SageMaker HyperPod tarification

Les rubriques suivantes fournissent des informations sur la SageMaker HyperPod tarification. Pour en savoir plus sur le prix horaire d'utilisation des SageMaker HyperPod instances, consultez également Amazon SageMaker Pricing.

Demandes de capacité

Vous pouvez allouer des capacités de calcul à la demande ou réservées avec SageMaker l'IA pour une utilisation sur SageMaker HyperPod. On-demand la création d'un cluster alloue la capacité disponible à partir du pool de capacités à la demande de l' SageMaker IA. Vous pouvez également demander une capacité réservée pour garantir l’accès en soumettant un ticket pour une augmentation du quota. Les demandes de capacité entrantes sont hiérarchisées par l' SageMaker IA et vous recevez une estimation du temps nécessaire à l'allocation de capacité.

Facturation du service

Lorsque vous allouez une capacité de calcul sur SageMaker HyperPod, vous êtes facturé pour la durée de l'allocation de capacité. SageMaker HyperPod la facturation apparaît sur vos factures d'anniversaire avec un poste correspondant au type d'allocation de capacité (à la demande, réservée), au type d'instance et au temps passé à utiliser l'instance.

Pour soumettre un ticket pour une augmentation de quota, consultez SageMaker HyperPod quotas.

SageMaker HyperPod APIs

La liste suivante est un ensemble complet d' SageMaker HyperPod API permettant de soumettre des demandes d'action au format JSON à SageMaker AI via AWS CLI ou AWS SDK pour Python (Boto3).

SageMaker HyperPod Configuration du Slurm

HyperPod prend en charge deux approches pour configurer Slurm sur votre cluster. Choisissez l'approche qui répond le mieux à vos besoins.

API-driven Configuration Slurm (recommandée)

Avec API-driven la configuration, vous définissez les types de nœuds Slurm, les assignations de partitions et les montages de systèmes de fichiers directement dans les CreateCluster requêtes d'API et. UpdateCluster Cette approche permet de :

SlurmConfig (par groupe d'instances)

Ajoutez SlurmConfig à chaque groupe d'instances pour définir le type de nœud Slurm et l'attribution de partition.

"SlurmConfig": {
    "NodeType": "Controller | Login | Compute",
    "PartitionNames": ["string"]
}

Paramètres :

Exemple :

{
    "InstanceGroupName": "gpu-compute",
    "InstanceType": "ml.p4d.24xlarge",
    "InstanceCount": 8,
    "SlurmConfig": {
        "NodeType": "Compute",
        "PartitionNames": ["gpu-training"]
    },
    "LifeCycleConfig": {
        "SourceS3Uri": "s3://sagemaker-bucket/lifecycle/src/",
        "OnCreate": "on_create.sh"
    },
    "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole"
}

Orchestrator.Slurm (au niveau du cluster)

Ajoutez Orchestrator.Slurm à la configuration du cluster pour spécifier le mode HyperPod de gestion du slurm.conf fichier.

"Orchestrator": {
    "Slurm": {
        "SlurmConfigStrategy": "Managed | Overwrite | Merge"
    }
}

Paramètres :

Exemple :

{
    "ClusterName": "my-hyperpod-cluster",
    "InstanceGroups": [...],
    "Orchestrator": {
        "Slurm": {
            "SlurmConfigStrategy": "Managed"
        }
    }
}

SlurmConfigStrategy comparaison

Configuration de FSx via InstanceStorageConfigs

Avec API-driven la configuration, vous pouvez configurer les systèmes de fichiers FSx par groupe d'instances à l'aide de. InstanceStorageConfigs Cela permet à différents groupes d'instances de monter différents systèmes de fichiers.

Prérequis :

FsxLustreConfig

Configurez le montage du système de fichiers FSx for Lustre pour un groupe d'instances.

"InstanceStorageConfigs": [
    {
        "FsxLustreConfig": {
            "DnsName": "string",
            "MountPath": "string",
            "MountName": "string"
        }
    }
]

Paramètres :

FsxOpenZfsConfig

Configurez FSx pour le montage du système de fichiers OpenZFS pour un groupe d'instances.

"InstanceStorageConfigs": [
    {
        "FsxOpenZfsConfig": {
            "DnsName": "string",
            "MountPath": "string"
        }
    }
]

Paramètres :

Exemple avec plusieurs systèmes de fichiers :

{
    "InstanceGroupName": "gpu-compute",
    "InstanceType": "ml.p4d.24xlarge",
    "InstanceCount": 4,
    "SlurmConfig": {
        "NodeType": "Compute",
        "PartitionNames": ["gpu-training"]
    },
    "InstanceStorageConfigs": [
        {
            "FsxLustreConfig": {
                "DnsName": "fs-0abc123def456789.fsx.us-west-2.amazonaws.com",
                "MountPath": "/fsx",
                "MountName": "abcdefgh"
            }
        },
        {
            "FsxOpenZfsConfig": {
                "DnsName": "fs-0xyz987654321.fsx.us-west-2.amazonaws.com",
                "MountPath": "/shared"
            }
        },
        {
            "EbsVolumeConfig": {
                "VolumeSizeInGB": 500
            }
        }
    ],
    "LifeCycleConfig": {
        "SourceS3Uri": "s3://sagemaker-bucket/lifecycle/src/",
        "OnCreate": "on_create.sh"
    },
    "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole"
}

Exemple API-driven de configuration complet

L'exemple suivant montre une CreateCluster demande complète utilisant la configuration de API-driven Slurm :

{
    "ClusterName": "ml-training-cluster",
    "InstanceGroups": [
        {
            "InstanceGroupName": "controller",
            "InstanceType": "ml.c5.xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Controller"
            },
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2
        },
        {
            "InstanceGroupName": "login",
            "InstanceType": "ml.m5.xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Login"
            },
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2
        },
        {
            "InstanceGroupName": "gpu-compute",
            "InstanceType": "ml.p4d.24xlarge",
            "InstanceCount": 8,
            "SlurmConfig": {
                "NodeType": "Compute",
                "PartitionNames": ["gpu-training"]
            },
            "InstanceStorageConfigs": [
                {
                    "FsxLustreConfig": {
                        "DnsName": "fs-0abc123def456789.fsx.us-west-2.amazonaws.com",
                        "MountPath": "/fsx",
                        "MountName": "abcdefgh"
                    }
                }
            ],
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2,
            "OnStartDeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
        },
        {
            "InstanceGroupName": "cpu-compute",
            "InstanceType": "ml.c5.18xlarge",
            "InstanceCount": 4,
            "SlurmConfig": {
                "NodeType": "Compute",
                "PartitionNames": ["cpu-preprocessing"]
            },
            "InstanceStorageConfigs": [
                {
                    "FsxLustreConfig": {
                        "DnsName": "fs-0abc123def456789.fsx.us-west-2.amazonaws.com",
                        "MountPath": "/fsx",
                        "MountName": "abcdefgh"
                    }
                }
            ],
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2
        }
    ],
    "Orchestrator": {
        "Slurm": {
            "SlurmConfigStrategy": "Managed"
        }
    },
    "VpcConfig": {
        "SecurityGroupIds": ["sg-0abc123def456789a"],
        "Subnets": ["subnet-0abc123def456789a", "subnet-0abc123def456789b"]
    },
    "Tags": [
        {
            "Key": "Project",
            "Value": "ML-Training"
        }
    ]
}

Pour en savoir plus sur l'utilisation API-driven de la configuration, consultezPersonnalisation des SageMaker HyperPod clusters à l'aide de scripts de cycle de vie.

Configuration héritée : provisioning_parameters.json

Avec l'approche traditionnelle, vous créez un fichier de configuration Slurm nommé provisioning_parameters.json et vous le chargez sur Amazon S3 dans le cadre de vos scripts de cycle de vie. HyperPod lit ce fichier lors de la création du cluster pour configurer les nœuds Slurm.

Formulaire de configuration pour provisioning_parameters.json

Le code suivant est le formulaire de configuration de Slurm que vous devez préparer pour configurer correctement les nœuds Slurm sur votre cluster. HyperPod Vous devez remplir ce formulaire et le charger dans le cadre d’un ensemble de scripts de cycle de vie lors de la création du cluster. Pour savoir comment ce formulaire doit être préparé tout au long des processus de création de HyperPod clusters, voirPersonnalisation des SageMaker HyperPod clusters à l'aide de scripts de cycle de vie.

// Save as provisioning_parameters.json.
{
    "version": "1.0.0",
    "workload_manager": "slurm",
    "controller_group": "string",
    "login_group": "string",
    "worker_groups": [
        {
            "instance_group_name": "string",
            "partition_name": "string"
        }
    ],
    "fsx_dns_name": "string",
    "fsx_mountname": "string"
}

Paramètres :

Comparaison entre la configuration API-driven traditionnelle et la configuration existante

SageMaker HyperPod DLAMI

SageMaker HyperPod exécute un DLAMI basé sur :

Le SageMaker HyperPod DLAMI est fourni avec des packages supplémentaires pour prendre en charge les outils open source tels que Slurm, Kubernetes, les dépendances et les packages logiciels de cluster pour prendre en charge les fonctionnalités de résilience telles que le contrôle de l'état du cluster SageMaker HyperPod et la reprise automatique. Pour suivre les mises à jour HyperPod logicielles distribuées par l'équipe de HyperPod service via DLamis, voir. Notes de SageMaker HyperPod publication d'Amazon

SageMaker HyperPod Référence des autorisations d'API

Lorsque vous configurez le contrôle d'accès pour autoriser l'exécution d'opérations d' SageMaker HyperPod API et que vous rédigez une politique d'autorisation que vous pouvez associer aux utilisateurs IAM pour les administrateurs du cloud, utilisez le tableau suivant comme référence.

Pour obtenir la liste complète des autorisations et des types de ressources pour les SageMaker API, consultez la section Actions, ressources et clés de condition pour Amazon SageMaker AI dans le AWS Service Authorization Reference.

SageMaker HyperPod commandes dans AWS CLI

Les AWS CLI commandes suivantes permettent d'exécuter SageMaker HyperPod les principales opérations de HyperPod l'API.

SageMaker HyperPod Modules Python dans AWS SDK pour Python (Boto3)

Voici les méthodes utilisées par le AWS SDK pour Python (Boto3) client pour que l' SageMaker IA exécute les principales opérations de HyperPod l'API.