Création de ressources de gestion des quotas - AWS Batch
Conditions préalables

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Création de ressources de gestion des quotas

La gestion des quotas nécessite des paramètres spécifiques lors de la création d'une politique de planification, d'un environnement de service et d'une file d'attente de tâches associés.

Conditions préalables

Avant de créer des ressources de gestion des quotas, assurez-vous de disposer des éléments suivants :

  • Autorisations IAM : autorisations permettant de créer et de gérer des files AWS Batch d'attente de travail, des politiques de planification et des environnements de service. Pour de plus amples informations, veuillez consulter AWS Batch Politiques, rôles et autorisations IAM.

Configure quota management resources (AWS Batch console)

La AWS Batch console fournit un flux de travail intégré permettant de créer toutes les ressources nécessaires à la gestion des quotas. Le flux de travail de création de files d'attente de tâches de gestion des quotas crée également des politiques de planification et des environnements de service compatibles avec la gestion des quotas.

  1. Ouvrez la AWS Batch console à l'adresse https://console.aws.amazon.com/batch/.

  2. Dans le volet de navigation, choisissez Job queues, puis Create.

  3. Pour le type d'orchestration, choisissez SageMakerEntraînement.

  4. Pour la configuration de la file d'attente des Job :

    1. Dans Nom, entrez le nom de la file d'attente de tâches.

    2. Pour Priorité, entrez une valeur comprise entre 0 et 1 000. Une file d'attente de tâches avec une priorité plus élevée est privilégiée pour les environnements de service.

  5. Pour la planification :

    1. Pour Algorithme de planification, choisissez Gestion des quotas.

    2. Pour l'ARN de la politique de planification :

      • S'il existe déjà une politique de planification qui spécifie la gestion des quotas, sélectionnez-la dans le menu déroulant.

      • Sinon, choisissez Créer une politique de planification.

        1. Une barre latérale s'ouvre pour configurer la politique de planification de la gestion des quotas.

        2. Entrez un nom pour la politique de planification.

        3. Choisissez Créer. Le champ ARN de la politique de planification est désormais renseigné.

  6. Pour la configuration de l'environnement de service, sous Environnement de service connecté :

    Note

    Les environnements de service compatibles avec la gestion des quotas ne peuvent être connectés qu'à une seule file d'attente de tâches compatible avec la gestion des quotas.

    1. Si un environnement de service compatible avec la gestion des quotas a déjà été créé et qu'il n'est pas encore connecté à une file d'attente de tâches compatible avec la gestion des quotas, sélectionnez-le dans le menu déroulant.

    2. Sinon, choisissez Créer un environnement de service. Une barre latérale s'ouvre pour configurer l'environnement de service.

      1. Entrez un nom pour l'environnement de service.

      2. Indiquez au moins une limite de capacité (et au plus 5). Pour chaque limite de capacité, choisissez un type d'instance dans la liste déroulante et un nombre maximum d'instances.

  7. (Facultatif) Pour les limites d'état des Job :

    1. Pour Mauvaise configuration, choisissez l'une SERVICE_ENVIRONMENT_MAX_RESOURCE des options et entrez la durée maximale d'exécution (secondes).

    2. Pour Capacité, choisissez INSUFFICIENT_INSTANCE_CAPACITY et entrez la durée maximale d'exécution (secondes).

  8. Choisissez Créer une file d'attente de tâches.

Configure quota management resources (AWS CLI)

Pour configurer la gestion des quotas via la AWS CLI, créez une politique de planification, un environnement de service et une file d'attente de tâches. La politique de planification et l'environnement de service doivent être compatibles avec la gestion des quotas et créés avant de créer la file d'attente des tâches.

Création d'une politique de planification

Utilisez la create-scheduling-policy commande pour créer une politique de planification compatible avec la gestion des quotas. Fournissez une politique de partage des quotas lors de la création :

aws batch create-scheduling-policy \
  --name my-qm-sagemaker-scheduling-policy \
  --quota-share-policy idleResourceAssignmentStrategy="FIFO"

Vérifiez que la politique de planification a été créée avec succès :

aws batch describe-scheduling-policies \
  --arns arn-for-my-qm-sagemaker-scheduling-policy

Création d'un environnement de service

Utilisez la create-service-environment commande pour créer un environnement de service compatible avec la gestion des quotas. Assurez-vous que les limites de capacité utilisent des types d'instances acceptés par les tâches de SageMaker formation, tels que ml.g6.xlarge ouml.p4d.24xlarge.

aws batch create-service-environment \
  --service-environment-name my-qm-sagemaker-service-env \
  --service-environment-type SAGEMAKER_TRAINING \
  --capacity-limits capacityUnit=instance_type,maxCapacity=instance_count

Vérifiez que l'environnement de service a été créé avec succès :

aws batch describe-service-environments \
  --service-environments my-qm-sagemaker-service-env

Création d'une file d'attente de tâches

Utilisez la create-job-queue commande pour créer une file d'attente de tâches compatible avec la gestion des quotas. Les critères suivants doivent être satisfaits :

  • Un environnement SAGEMAKER_TRAINING de service unique doit être fourni qui n'est actuellement pas connecté à une autre file d'attente de tâches.

  • L'environnement de service doit exprimer les limites de capacité en termes de types d'instances, tels queml.m6i.xlarge, plutôt queNUM_INSTANCES.

  • Une politique de planification doit être connectée qui contient unquotaSharePolicy.

  • Le jobQueueType doit être SAGEMAKER_TRAINING.

aws batch create-job-queue \
  --job-queue-name my-qm-sagemaker-jq \
  --job-queue-type SAGEMAKER_TRAINING \
  --priority 1 \
  --service-environment-order order=1,serviceEnvironment=my-qm-sagemaker-service-env \
  --scheduling-policy-arn arn-for-my-qm-sagemaker-scheduling-policy

Vérifiez que la file d'attente des tâches a été créée avec succès :

aws batch describe-job-queues \
  --job-queues my-qm-sagemaker-jq

Assurez-vous que :

  • Le state est ENABLED

  • Le status est VALID

  • Le statusReason est JobQueue Healthy