View a markdown version of this page

Démarrage avec AWS Batch sur Amazon EKS - AWS Batch

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Démarrage avec AWS Batch sur Amazon EKS

AWS Batch sur Amazon EKS est un service géré permettant de planifier et de dimensionner des charges de travail par lots dans des clusters Amazon EKS existants. AWS Batch ne crée, n'administre ni n'effectue les opérations relatives au cycle de vie de vos clusters Amazon EKS en votre nom. AWS Batch l'orchestration fait évoluer les nœuds vers le haut et vers le bas gérés par AWS Batch et exécutez des pods sur ces nœuds.

Note

Ce didacticiel utilise les entrées d'accès Amazon EKS pour l'authentification des clusters. Les entrées d'accès constituent la méthode recommandée et sont obligatoires pour les clusters Amazon EKS dont authenticationMode est API. Ils sont également disponibles pour les clusters Amazon EKS dont authenticationMode est API_AND_CONFIG_MAP.

Si votre cluster est authenticationMode est CONFIG_MAP, nous vous recommandons de mettre à jour votre cluster pour API_AND_CONFIG_MAP afin que vous puissiez suivre ce tutoriel. Pour utiliser l'héritage aws-auth ConfigMap approche, voir Démarrage avec AWS Batch sur Amazon EKS à l'aide de ConfigMap authentification.

Pour plus d'informations sur les méthodes d'authentification, voir Authentification des entrées d'accès Amazon EKS.

AWS Batch ne touche pas les nœuds, ne dimensionne pas automatiquement les groupes de nœuds ou les cycles de vie des pods qui ne sont pas associés à AWS Batch environnements informatiques au sein de votre cluster Amazon EKS. Pour AWS Batch pour fonctionner efficacement, ses rôle lié à un service a besoin d'accéder à votre cluster Amazon EKS existant. AWS Batch crée une entrée d'accès Amazon EKS pour le rôle lié au service, et vous associez une politique d'accès qui accorde AWS Batch autorisations dans votre espace de noms.

AWS Batch nécessite un Kubernetes espace de noms où il peut définir les pods comme AWS Batch emplois dans. Nous recommandons un espace de noms dédié pour isoler les AWS Batch pods provenant de vos autres charges de travail de cluster.

Une fois qu'un espace de noms a été créé, vous pouvez associer ce cluster Amazon EKS à un AWS Batch environnement de calcul utilisant le CreateComputeEnvironment Fonctionnement de l'API. Une file d'attente de tâches peut être associée à ce nouvel environnement de calcul Amazon EKS. AWS Batch les tâches sont soumises à la file d'attente des tâches sur la base d'une définition de tâche Amazon EKS à l'aide du SubmitJob Fonctionnement de l'API. AWS Batch puis lance AWS Batch nœuds gérés et placez les tâches depuis la file d'attente des tâches comme Kubernetes pods dans le cluster EKS associé à un AWS Batch environnement informatique.

Les sections suivantes expliquent comment configurer AWS Batch sur Amazon EKS.

Vue d’ensemble

Ce didacticiel explique comment configurer AWS Batch avec Amazon EKS à l'aide du AWS CLI, kubectl et eksctl.

Public cible

Ce didacticiel est destiné aux administrateurs système et aux développeurs chargés de la configuration, des tests et du déploiement AWS Batch.

Caractéristiques utilisées

Ce tutoriel vous montre comment utiliser le AWS CLI, à :

  • Création et configuration d'un environnement de calcul Amazon EKS

  • Créez une file d'attente pour les tâches.

  • Créer une définition de tâche

  • Créez et soumettez une tâche à exécuter

  • Soumettre une offre d'emploi avec des modifications

Temps requis

La réalisation de ce didacticiel devrait prendre environ 30 à 40 minutes.

Restrictions régionales

Aucune restriction nationale ou régionale n'est associée à l'utilisation de cette solution.

Coûts d'utilisation des ressources

La création d'un AWS compte. Cependant, en mettant en œuvre cette solution, vous pouvez être redevable de tout ou partie des frais répertoriés dans le tableau suivant.

Description Coût (dollar américain)
Vous êtes facturé à l'heure cumulée Varie en fonction de l'instance, voir Tarification Amazon EKS

Conditions préalables

Avant de commencer ce didacticiel, vous devez installer et configurer les outils et ressources suivants, dont vous avez besoin pour créer et gérer les deux AWS Batch et des ressources Amazon EKS.

  • AWS CLI : outil de ligne de commande pour travailler avec AWS , y compris Amazon EKS. Ce guide nécessite que vous utilisiez la version 2.37.7 ou ultérieure du AWS CLI version 2. Les versions précédentes ne prennent pas en charge le accessEntry paramètre. Pour plus d'informations, voir Installation, mise à jour et désinstallation du AWS CLI dans le AWS Command Line Interface Guide de l'utilisateur. Après avoir installé le AWS CLI, nous vous recommandons de le configurer également. Pour plus d'informations, voir Configuration rapide avec aws configure dans le AWS Command Line Interface Guide de l'utilisateur.

  • kubectl : outil de ligne de commande pour travailler avec des clusters Kubernetes. Utilisez un kubectl version qui se situe dans la limite d'une différence de version mineure par rapport à celle de votre cluster Kubernetes version. Pour plus d'informations, veuillez consulter Installation ou mise à jour de kubectl dans le Guide de l'utilisateur Amazon EKS.

  • eksctl — Outil en ligne de commande permettant de travailler avec des clusters Amazon EKS qui automatise de nombreuses tâches individuelles. Ce guide est compatible avec la version 0.167.0 ou une version ultérieure. Pour plus d'informations, veuillez consulter Installation ou mise à jour de eksctl dans le Guide de l'utilisateur Amazon EKS.

  • Autorisations IAM requises — Le principal de sécurité IAM que vous utilisez doit être autorisé à utiliser les rôles IAM Amazon EKS et les rôles liés aux services, CloudFormation, ainsi qu'un VPC et des ressources associées. Pour plus d'informations, voir Actions, ressources et clés de condition pour Amazon Elastic Kubernetes Service et Utilisation de rôles liés aux services dans le Guide de l'utilisateur IAM. Vous devez effectuer toutes les étapes de ce guide avec le même utilisateur.

  • Autorisations — Les utilisateurs qui appellent le CreateComputeEnvironment Les opérations d'API visant à créer un environnement de calcul utilisant les ressources Amazon EKS nécessitent des autorisations sur eks:DescribeCluster Fonctionnement de l'API. Lorsque vous utilisez des entrées d'accès, AWS Batch gère l'entrée d'accès à l'aide de vos informations d'identification. Vous avez donc également besoin d'autorisations pour gérer les entrées d'accès Amazon EKS : eks:DescribeAccessEntry, eks:CreateAccessEntry, eks:AssociateAccessPolicy, et eks:DeleteAccessEntry. Pour plus d’informations, consultez Autorisations requises.

  • Compte AWS nombre — Vous devez connaître votre Compte AWS IDENTIFIANT. Suivez les instructions figurant dans Affichage de votre Compte AWS IDENTIFIANT.

  • (Facultatif) CloudWatch — Pour examiner les détails de (Facultatif) Soumettre une offre d'emploi avec des modifications, la journalisation doit être configurée. Pour plus d’informations, consultez Utiliser CloudWatch les journaux pour surveiller AWS Batch les tâches Amazon EKS.

Étape 1 : Créez votre cluster Amazon EKS pour AWS Batch

Important

Pour démarrer le plus simplement et le plus rapidement possible, ce didacticiel comprend des étapes avec les paramètres par défaut. Avant de créer pour une utilisation en production, nous vous recommandons de vous familiariser avec tous les paramètres et de déployer ceux qui répondent à vos besoins.

Une fois que vous avez installé les prérequis, vous devez créer votre cluster à l'aide de eksctl. La création du cluster peut prendre entre 10 et 15 minutes.

$ eksctl create cluster --name my-cluster-name --region region-code

Dans la commande précédente, remplacez :

  • Remplacer my-cluster-name avec le nom que vous souhaitez utiliser pour votre cluster.

  • Remplacer region-code avec le Région AWS pour créer le cluster dans, par exemple us-west-2.

Le nom et la région du cluster sont nécessaires pour la suite de ce didacticiel.

Étape 2 : Préparez votre cluster Amazon EKS pour AWS Batch

Cette méthode utilise les entrées d'accès Amazon EKS pour accorder AWS Batch accès au cluster. Il élimine la nécessité d'une configuration RBAC manuelle et aws-auth ConfigMap édite.

  1. Créez un espace de noms dédié pour AWS Batch jobs

    Utiliser kubectl pour créer un nouvel espace de noms.

    $ namespace=my-aws-batch-namespace
    $ cat - <<EOF | kubectl create -f - { "apiVersion": "v1", "kind": "Namespace", "metadata": { "name": "${namespace}", "labels": { "name": "${namespace}" } } } EOF

    Sortie :

    namespace/my-aws-batch-namespace created
  2. Configurer l'accès au cluster pour le rôle d'instance de nœud

    Instances lancées par AWS Batch rejoignez le cluster à l'aide du profil d'instance que vous spécifiez dans computeResources.instanceRole lorsque vous créez l'environnement informatique à l'étape suivante. Ce rôle a besoin de son propre accès au cluster, qui est distinct du AWS Batch-entrée d'accès gérée.

    Le rôle d'instance de nœud est créé lorsque vous créez le cluster. Pour trouver le rôle d'instance de nœud, répertoriez toutes les entités qui utilisent le AmazonEKSWorkerNodePolicy politique :

    $ aws iam list-entities-for-policy --policy-arn arn:aws:iam::aws:policy/AmazonEKSWorkerNodePolicy

    La commande répertorie tous les rôles qui utilisent cette politique. Choisissez le rôle dont le nom contient le nom de votre cluster, par exemple eksctl-my-cluster-name-nodegroup-example.

    Cette étape n'est nécessaire que si le rôle d'instance de nœud ne possède pas déjà d'entrée d'accès sur le cluster. Par exemple, Amazon EKS crée généralement une entrée d'accès pour le rôle de nœud d'un groupe de nœuds géré, tel que celui qui eksctl créé à l'étape 1. Pour vérifier si le rôle possède déjà une entrée d'accès, exécutez la commande suivante :

    $ aws eks describe-access-entry \ --cluster-name my-cluster-name \ --principal-arn arn:aws:iam::your-account-number:role/eksctl-my-cluster-name-nodegroup-example

    Remplacer eksctl-my-cluster-name-nodegroup-example avec le nom du rôle d'instance de nœud renvoyé par la commande précédente.

    Si la commande renvoie l'entrée d'accès, ignorez le reste de cette étape. S'il renvoie un ResourceNotFoundException erreur, créez une entrée d'accès pour le rôle d'instance de nœud :

    $ aws eks create-access-entry \ --cluster-name my-cluster-name \ --principal-arn arn:aws:iam::your-account-number:role/eksctl-my-cluster-name-nodegroup-example \ --type EC2_LINUX
    Note

    Sur les clusters dont authenticationMode est API_AND_CONFIG_MAP, si le rôle d'instance de nœud est déjà mappé dans aws-auth ConfigMap, vous pouvez également ignorer cette étape. Les nœuds se joignent avec succès à l'aide du ConfigMap entrée. Sur les clusters dont authenticationMode est API, le ConfigMap n'est pas utilisé, le rôle d'instance de nœud doit donc comporter une entrée d'accès.

    Important

    Sans accès approprié au cluster pour le rôle d'instance de nœud, les instances EC2 ne peuvent pas rejoindre le cluster. Les emplois seront maintenus dans RUNNABLE état car aucune capacité n'est enregistrée auprès du cluster.

Étape 3 : Création d'un environnement de calcul Amazon EKS

AWS Batch les environnements informatiques définissent les paramètres des ressources de calcul pour répondre à vos besoins de charge de travail par lots. Dans un environnement informatique géré, AWS Batch vous aide à gérer la capacité et les types d'instances des ressources de calcul (Kubernetes nœuds) au sein de votre cluster Amazon EKS. Ceci est basé sur la spécification des ressources de calcul que vous définissez lorsque vous créez l'environnement de calcul. Vous pouvez utiliser EC2 On-Demand Instances ou instances ponctuelles EC2.

Créez un environnement de calcul qui cible votre cluster Amazon EKS. Parce que l'environnement informatique définit accessEntry.desiredState pour ENABLED, AWS Batch crée une entrée d'accès pour AWSServiceRoleForBatch rôle lié à un service sur votre cluster. Vous accordez à cette entrée des autorisations d'accès dans votre espace de noms à l'étape suivante.

  • Pour subnets courir eksctl get cluster my-cluster-name pour obtenir les sous-réseaux utilisés par le cluster.

  • Pour securityGroupIds paramètre vous permettant d'utiliser le même groupe de sécurité que le cluster Amazon EKS. Cette commande récupère l'ID du groupe de sécurité pour le cluster.

    $ aws eks describe-cluster \ --name my-cluster-name \ --query cluster.resourcesVpcConfig.clusterSecurityGroupId
  • Le instanceRole est le profil d'instance pour le rôle d'instance de nœud que vous avez trouvé à l'étape 2. Pour trouver le instanceRole arn exécute la commande suivante :

    $ aws iam list-instance-profiles-for-role --role-name eksctl-my-cluster-name-nodegroup-example

    Sortie :

    INSTANCEPROFILES arn:aws:iam::<your-account-number>:instance-profile/eks-04cb2200-94b9-c297-8dbe-87f12example

    Pour plus d'informations, voir Création du rôle IAM du nœud Amazon EKS et Autoriser les utilisateurs IAM à accéder à Kubernetes avec entrées d'accès Amazon EKS dans le Guide de l'utilisateur d'Amazon EKS. Si vous utilisez la mise en réseau des pods, voir Configuration du plug-in Amazon VPC CNI pour Kubernetes pour utiliser les rôles IAM pour les comptes de service dans le Guide de l'utilisateur d'Amazon EKS.

$ cat <<EOF > ./batch-eks-compute-environment.json { "computeEnvironmentName": "My-Eks-CE1", "type": "MANAGED", "state": "ENABLED", "eksConfiguration": { "eksClusterArn": "arn:aws:eks:region-code:your-account-number:cluster/my-cluster-name", "kubernetesNamespace": "my-aws-batch-namespace", "accessEntry": { "desiredState": "ENABLED" } }, "computeResources": { "type": "EC2", "allocationStrategy": "BEST_FIT_PROGRESSIVE", "minvCpus": 0, "maxvCpus": 128, "instanceTypes": [ "m5" ], "subnets": [ "<eks-cluster-subnets-with-access-to-internet-for-image-pull>" ], "securityGroupIds": [ "<eks-cluster-sg>" ], "instanceRole": "<eks-instance-profile>" } } EOF
$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json
Remarques

Étape 3a : Associer la politique d'espace de noms

Après avoir créé l'environnement informatique avec accessEntry.desiredState=ENABLED, AWS Batch crée une entrée d'accès au niveau du cluster. Vous devez ensuite associer le namespace-scoped AWSBatchNamespacePolicy accorder AWS Batch autorisation de créer et de gérer des pods dans votre espace de noms.

Important

Sans l'association de politiques à l'échelle de l'espace de noms, les emplois resteront bloqués RUNNABLE statut. La politique au niveau du cluster à elle seule n'accorde pas d'autorisations de gestion des pods.

  1. Attendez que l'entrée d'accès soit active

    Vérifiez l'état des entrées d'accès :

    $ aws batch describe-compute-environments \ --compute-environments My-Eks-CE1 \ --query 'computeEnvironments[0].eksConfiguration.accessEntry.status' \ --output text

    Sortie lorsque vous êtes prêt :

    ACTIVE

    Un ACTIVE statut signifie que AWS Batch a créé l'entrée d'accès sur votre cluster et vous pouvez y associer la politique d'espace de noms. Si le statut est INACTIVE, attendez un moment et réessayez. Ne continuez pas tant que le statut n'est pas ACTIVE.

  2. Associer la politique d'espace de noms

    Une fois que l'entrée d'accès est ACTIVE, associez la politique étendue à l'espace de noms :

    $ aws eks associate-access-policy \ --cluster-name my-cluster-name \ --principal-arn arn:aws:iam::your-account-number:role/aws-service-role/batch.amazonaws.com/AWSServiceRoleForBatch \ --policy-arn arn:aws:eks::aws:cluster-access-policy/AWSBatchNamespacePolicy \ --access-scope type=namespace,namespaces=my-aws-batch-namespace

    Sortie :

    { "clusterName": "my-cluster-name", "principalArn": "arn:aws:iam::123456789012:role/aws-service-role/batch.amazonaws.com/AWSServiceRoleForBatch", "associatedAccessPolicy": { "policyArn": "arn:aws:eks::aws:cluster-access-policy/AWSBatchNamespacePolicy", "accessScope": { "type": "namespace", "namespaces": [ "my-aws-batch-namespace" ] }, "associatedAt": "2024-01-15T10:30:00.000000-08:00", "modifiedAt": "2024-01-15T10:30:00.000000-08:00" } }

Étape 4 : Création d'une file d'attente de tâches et attachement de l'environnement informatique

Important

Il est important de vérifier que l'environnement informatique est sain avant de poursuivre. Le DescribeComputeEnvironments Le fonctionnement de l'API peut être utilisé pour ce faire.

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

Confirmez que status le paramètre n'est pas INVALID. Si c'est le cas, regardez le statusReason paramètre de la cause. Pour plus d’informations, consultez Résolution des problèmes AWS Batch.

Les tâches soumises à cette nouvelle file d'attente de tâches sont exécutées sous forme de modules sur AWS Batch nœuds gérés qui ont rejoint le cluster Amazon EKS associé à votre environnement informatique.

$ cat <<EOF > ./batch-eks-job-queue.json { "jobQueueName": "My-Eks-JQ1", "priority": 10, "computeEnvironmentOrder": [ { "order": 1, "computeEnvironment": "My-Eks-CE1" } ] } EOF
$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

Étape 5 : Création d'une définition de poste

La définition de tâche suivante indique au module de dormir pendant 60 secondes.

$ cat <<EOF > ./batch-eks-job-definition.json { "jobDefinitionName": "MyJobOnEks_Sleep", "type": "container", "eksProperties": { "podProperties": { "hostNetwork": true, "containers": [ { "image": "public.ecr.aws/amazonlinux/amazonlinux:2", "command": [ "sleep", "60" ], "resources": { "limits": { "cpu": "1", "memory": "1024Mi" } } } ], "metadata": { "labels": { "environment": "test" } } } } } EOF
$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json
Remarques

Étape 6 : Soumettre une offre d'emploi

Exécutez ce qui suit AWS CLI commande pour soumettre une nouvelle tâche.

$ aws batch submit-job --job-queue My-Eks-JQ1 \ --job-definition MyJobOnEks_Sleep --job-name My-Eks-Job1

Pour vérifier le statut d'une tâche :

$ aws batch describe-jobs --job <jobId-from-submit-response>
Remarques

Étape 7 : Afficher le résultat de la tâche

Pour afficher le résultat du Job, procédez comme suit :

  1. Ouvrez le AWS Batch console à https://console.aws.amazon.com/batch/.

  2. Dans le volet de navigation, choisissez Offres d'emploi.

  3. Dans le File d'attente des tâches dans le menu déroulant, choisissez la file d'attente de tâches que vous avez créée pour le didacticiel.

  4. Le Offres d'emploi Un tableau répertorie toutes vos offres d'emploi et leur statut actuel. Une fois le job État est A réussi choisissez le Nom du Job, My-Eks-Job1, pour consulter les détails de la tâche.

  5. Dans le Détails volet le Commencé à et Arrêté à les horaires devraient être espacés d'une minute.

Étape 8 : (Facultatif) Soumettre une tâche avec des modifications

Cette tâche remplace la commande transmise au conteneur. AWS Batch nettoie de manière agressive les capsules une fois les travaux terminés afin de réduire la charge à Kubernetes. Pour examiner les détails d'une tâche, la journalisation doit être configurée. Pour plus d’informations, consultez Utiliser CloudWatch les journaux pour surveiller AWS Batch les tâches Amazon EKS.

$ cat <<EOF > ./submit-job-override.json { "jobName": "EksWithOverrides", "jobQueue": "My-Eks-JQ1", "jobDefinition": "MyJobOnEks_Sleep", "eksPropertiesOverride": { "podProperties": { "containers": [ { "command": [ "/bin/sh" ], "args": [ "-c", "echo hello world" ] } ] } } } EOF
$ aws batch submit-job --cli-input-json file://./submit-job-override.json
Remarques

Pour afficher le résultat du Job, procédez comme suit :

  1. Ouvrez le AWS Batch console à https://console.aws.amazon.com/batch/.

  2. Dans le volet de navigation, choisissez Offres d'emploi.

  3. Dans le File d'attente des tâches dans le menu déroulant, choisissez la file d'attente de tâches que vous avez créée pour le didacticiel.

  4. Le Offres d'emploi Un tableau répertorie toutes vos offres d'emploi et leur statut actuel. Une fois le job État est A réussi choisissez le Nom de la tâche pour afficher les détails de la tâche.

  5. Dans le Détails volet choisir Nom du flux de journaux. Le CloudWatch la console du Job s'ouvrira et il devrait y avoir un événement avec le Message de hello world ou votre message personnalisé.

Étape 9 : Nettoyez les ressources de votre didacticiel

L'instance Amazon EC2 vous est facturée tant qu'elle est activée. Vous pouvez supprimer l'instance pour ne plus entraîner de frais.

Pour supprimer les ressources que vous avez créées, procédez comme suit :

  1. Ouvrez le AWS Batch console à https://console.aws.amazon.com/batch/.

  2. Dans le volet de navigation, choisissez File d'attente des tâches.

  3. Dans le File d'attente des tâches table choisissez la file d'attente de tâches que vous avez créée pour le didacticiel.

  4. Choisissez Désactiver. Une fois la file d'attente des tâches État est désactivé, vous pouvez choisir Supprimer.

  5. Une fois la file d'attente des tâches supprimée, définissez accessEntry.desiredState pour DISABLED sur l'environnement informatique afin que AWS Batch supprime l'entrée d'accès qu'il a créée sur votre cluster :

    $ aws batch update-compute-environment \ --compute-environment My-Eks-CE1 \ --eks-configuration 'accessEntry={desiredState=DISABLED}'
    Important

    Vous devez définir desiredState pour DISABLED avant de supprimer l'environnement informatique. La suppression d'un environnement informatique ne supprime pas l'entrée d'accès, même si c'est la dernière AWS Batch environnement de calcul sur le cluster. Si autre AWS Batch les environnements de calcul ciblent le même cluster, AWS Batch supprime l'entrée d'accès uniquement lorsque chacun d'entre eux a desiredState réglé sur DISABLED. Pour plus d’informations, consultez Quoi AWS Batch crée sur votre cluster.

    État attendu après la désactivation de l'entrée d'accès

    Après AWS Batch supprime l'entrée d'accès, celle de l'environnement informatique État modifications apportées à INVALID avec une raison de statut de Unable to validate Kubernetes Namespace. Cela est attendu car AWS Batch n'a plus accès à votre cluster. Vous pouvez toujours désactiver et supprimer l'environnement informatique.

  6. Dans le volet de navigation, choisissez Environnements informatiques.

  7. Choisissez l'environnement informatique que vous avez créé pour ce didacticiel, puis choisissez Désactiver. La désactivation complète de l'environnement informatique peut prendre 1 à 2 minutes.

  8. Une fois que l'environnement informatique est État est désactivé, choisissez Supprimer. La suppression de l'environnement informatique peut prendre 1 à 2 minutes.

Ressources supplémentaires

Une fois le didacticiel terminé, vous souhaiterez peut-être explorer les sujets suivants :