View a markdown version of this page

Introducción al AWS Batch en Amazon EKS - AWS Batch

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Introducción al AWS Batch en Amazon EKS

AWS Batch en Amazon EKS es un servicio gestionado para programar y escalar cargas de trabajo por lotes en clústeres de Amazon EKS existentes. AWS Batch no crea, administra ni realiza las operaciones del ciclo de vida de sus clústeres de Amazon EKS en su nombre. AWS Batch la orquestación amplía y reduce los nodos gestionados por AWS Batch y ejecute pods en esos nodos.

nota

Este tutorial utiliza las entradas de acceso de Amazon EKS para la autenticación de clústeres. Las entradas de acceso son el método recomendado y son obligatorias para los clústeres de Amazon EKS cuyo authenticationMode es API. También están disponibles para los clústeres de Amazon EKS cuyos authenticationMode es API_AND_CONFIG_MAP.

Si tu clúster es authenticationMode es CONFIG_MAP, le recomendamos que actualice su clúster a API_AND_CONFIG_MAP para que puedas seguir este tutorial. Para usar el legado aws-auth ConfigMap enfoque, consulte Introducción al AWS Batch en Amazon EKS usando ConfigMap autenticación.

Para obtener más información sobre los métodos de autenticación, consulte autenticación de entradas de acceso a Amazon EKS.

AWS Batch no toca los nodos, los ciclos de vida de los pods o grupos de nodos con escalado automático que no estén asociados a AWS Batch entornos informáticos dentro de su clúster de Amazon EKS. Para AWS Batch para operar de manera efectiva, es rol vinculado al servicio necesita acceder a su clúster de Amazon EKS existente. AWS Batch crea una entrada de acceso a Amazon EKS para la función vinculada al servicio y usted asocia una política de acceso que la concede AWS Batch permisos en su espacio de nombres.

AWS Batch requiere un Kubernetes espacio de nombres donde puede definir los pods como AWS Batch trabajos en. Recomendamos un espacio de nombres dedicado para aislar el AWS Batch los pods de las demás cargas de trabajo del clúster.

Una vez establecido un espacio de nombres, puede asociar ese clúster de Amazon EKS a un AWS Batch entorno informático mediante el CreateComputeEnvironment operación de API. Se puede asociar una cola de trabajos a este nuevo entorno informático de Amazon EKS. AWS Batch los trabajos se envían a la cola de trabajos según una definición de trabajo de Amazon EKS mediante el SubmitJob Operación de API. AWS Batch luego se lanza AWS Batch administró los nodos y colocó los trabajos de la cola de trabajos como Kubernetes se alojan en el clúster de EKS asociado a un AWS Batch entorno informático.

En las siguientes secciones se explica cómo configurar para AWS Batch en Amazon EKS.

Descripción general de

Este tutorial muestra cómo configurar AWS Batch con Amazon EKS mediante el AWS CLI, kubectl y eksctl.

Público objetivo

Este tutorial está diseñado para los administradores y desarrolladores de sistemas responsables de la configuración, las pruebas y la implementación de AWS Batch.

Funciones utilizadas

En este tutorial se muestra cómo utilizar el AWS CLI, para:

  • crear y configurar un entorno de computación de Amazon EKS,

  • crear una cola de trabajos,

  • crear una definición de trabajo,

  • crear y enviar un flujo de trabajo para ejecutarlo,

  • enviar un trabajo con anulaciones.

Tiempo requerido

Completar este tutorial debería tardar entre 30 y 40 minutos.

Restricciones regionales

No hay restricciones regionales o de país asociadas al uso de esta solución.

Costos de uso de recursos

No se cobra nada por crear un AWS cuenta. Sin embargo, mediante la implementación de esta solución, es posible que incurra en algunos o todos los costos que se enumeran en la siguiente tabla.

Description (Descripción) Costo (dólares estadounidenses)
El cobro será por hora de uso del clúster Varía según la instancia. Consulte los precios de Amazon EKS

Requisitos previos

Antes de comenzar este tutorial, debe instalar y configurar las siguientes herramientas y recursos que necesita para crear y administrar ambos AWS Batch y recursos de Amazon EKS.

  • AWS CLI: una herramienta de línea de comandos para trabajar con servicios de AWS , incluido Amazon EKS. Esta guía requiere que utilice la versión 2.37.7 o una posterior del AWS CLI versión 2. Las versiones anteriores no son compatibles con accessEntry parámetro. Para obtener más información, consulte Instalar, actualizar y desinstalar la AWS CLI en la Guía del usuario de AWS Command Line Interface . Tras instalar el AWS CLI, le recomendamos que también lo configure. Para obtener más información, consulte Configuración rápida con aws configure en la Guía del usuario de AWS Command Line Interface .

  • kubectl: una herramienta de línea de comandos para trabajar con clústeres de Kubernetes. Utilice un kubectl versión que tenga una diferencia de versión menor con respecto a la de su clúster Kubernetes versión. Para obtener más información, consulte Instalación o actualización de kubectl en la Guía del usuario de Amazon EKS.

  • eksctl: una herramienta de línea de comandos para trabajar con clústeres de Amazon EKS que automatiza varias tareas individuales. Esta guía requiere que utilice la versión 0.167.0 o una posterior. Para obtener más información, consulte Instalación o actualización de eksctl en la Guía del usuario de Amazon EKS.

  • Permisos de IAM necesarios — El director de seguridad de IAM que esté utilizando debe tener permisos para trabajar con las funciones de IAM de Amazon EKS y las funciones vinculadas a servicios, CloudFormation, y una VPC y recursos relacionados. Para obtener más información, consulte Acciones, recursos y claves de condición de Amazon Elastic Kubernetes Service y Uso de roles vinculados a servicios en la Guía del usuario de IAM. Debe completar todos los pasos de esta guía como el mismo usuario.

  • Permisos — Usuarios que llaman al CreateComputeEnvironment La operación de la API para crear un entorno informático que utilice los recursos de Amazon EKS requiere permisos para eks:DescribeCluster Operación de API. Al usar entradas de acceso, AWS Batch administra la entrada de acceso con sus credenciales, por lo que también necesita permisos para administrar las entradas de acceso de Amazon EKS: eks:DescribeAccessEntry, eks:CreateAccessEntry, eks:AssociateAccessPolicy, y eks:DeleteAccessEntry. Para obtener más información, consulte Permisos necesarios.

  • Cuenta de AWS número — Necesitas saber tu Cuenta de AWS NIÑA. Siga las instrucciones que se indican en Visualización de su ID de Cuenta de AWS.

  • (Opcional) CloudWatch — Para examinar los detalles de (Opcional) Envía un trabajo con anulaciones, el registro debe estar configurado. Para obtener más información, consulte Utilice CloudWatch los registros para supervisar AWS Batch los trabajos de Amazon EKS.

Paso 1: Cree su clúster de Amazon EKS para AWS Batch

importante

Para comenzar de la manera más sencilla y rápida posible, en este tutorial se incluirán los pasos con la configuración predeterminada. Antes de crear para su uso en producción, recomendamos que conozca toda la configuración e implemente la configuración que satisfaga sus requisitos.

Tras haber instalado los requisitos previos, debe crear su clúster con eksctl. Crear el clúster puede tardar entre 10 y 15 minutos.

$ eksctl create cluster --name my-cluster-name --region region-code

Sustituya en el comando anterior:

  • Reemplazar my-cluster-name con el nombre que desea usar para su clúster.

  • Reemplazar region-code con el Región de AWS para crear el clúster en, por ejemplo us-west-2.

El nombre y la región del clúster serán necesarios en otro momento para este tutorial.

Paso 2: Prepare su clúster de Amazon EKS para AWS Batch

Este método utiliza las entradas de acceso de Amazon EKS para conceder AWS Batch acceso al clúster. Elimina la necesidad de una configuración manual del RBAC y aws-auth ConfigMap ediciones.

  1. Crea un espacio de nombres dedicado para AWS Batch jobs

    Se utiliza kubectl para crear un nuevo espacio de nombres.

    $ namespace=my-aws-batch-namespace
    $ cat - <<EOF | kubectl create -f - { "apiVersion": "v1", "kind": "Namespace", "metadata": { "name": "${namespace}", "labels": { "name": "${namespace}" } } } EOF

    Salida:

    namespace/my-aws-batch-namespace created
  2. Configure el acceso al clúster para la función de instancia de nodo

    Instancias lanzadas por AWS Batch únase al clúster mediante el perfil de instancia que especifique en computeResources.instanceRole cuando crees el entorno de procesamiento en el siguiente paso. Esa función necesita su propio acceso al clúster, que es independiente del AWS Batch-entrada de acceso administrado.

    El rol de instancia de nodo se crea al crear el clúster. Para encontrar el rol de instancia de nodo, lista todas las entidades que usan el AmazonEKSWorkerNodePolicy política:

    $ aws iam list-entities-for-policy --policy-arn arn:aws:iam::aws:policy/AmazonEKSWorkerNodePolicy

    El comando muestra todos los roles que usan esta política. Elija el rol cuyo nombre contenga el nombre de su clúster, por ejemplo eksctl-my-cluster-name-nodegroup-example.

    Este paso solo es necesario si el rol de instancia de nodo aún no tiene una entrada de acceso en el clúster. Por ejemplo, Amazon EKS suele crear una entrada de acceso para la función de nodo de un grupo de nodos gestionado, como el que eksctl creado en el paso 1. Para comprobar si el rol ya tiene una entrada de acceso, ejecute el siguiente comando:

    $ aws eks describe-access-entry \ --cluster-name my-cluster-name \ --principal-arn arn:aws:iam::your-account-number:role/eksctl-my-cluster-name-nodegroup-example

    Reemplazar eksctl-my-cluster-name-nodegroup-example con el nombre del rol de instancia de nodo devuelto por el comando anterior.

    Si el comando devuelve la entrada de acceso, omita el resto de este paso. Si devuelve un ResourceNotFoundException error, crea una entrada de acceso para el rol de instancia de nodo:

    $ aws eks create-access-entry \ --cluster-name my-cluster-name \ --principal-arn arn:aws:iam::your-account-number:role/eksctl-my-cluster-name-nodegroup-example \ --type EC2_LINUX
    nota

    En clústeres cuyo authenticationMode es API_AND_CONFIG_MAP, si el rol de instancia del nodo ya está mapeado en el aws-auth ConfigMap, también puedes saltarte este paso. Los nodos se unen correctamente mediante el ConfigMap entrada. En clústeres cuyos authenticationMode es API, el ConfigMap no se usa, por lo que el rol de instancia de nodo debe tener una entrada de acceso.

    importante

    Sin el acceso adecuado al clúster para la función de instancia de nodo, las instancias EC2 no pueden unirse al clúster. Los trabajos permanecerán en RUNNABLE estado porque no se registra ninguna capacidad en el clúster.

Paso 3: Crear un entorno de computación de Amazon EKS

AWS Batch los entornos informáticos definen los parámetros de los recursos informáticos para satisfacer sus necesidades de carga de trabajo por lotes. En un entorno informático gestionado, AWS Batch le ayuda a gestionar la capacidad y los tipos de instancias de los recursos informáticos (Kubernetes nodos) dentro de su clúster de Amazon EKS. Se basa en la especificación de recursos de computación que se define al crear el entorno de computación. Puede usar EC2 On-Demand Instancias o instancias puntuales de EC2.

Cree un entorno informático que se dirija a su clúster de Amazon EKS. Porque el entorno informático se establece accessEntry.desiredState a ENABLED, AWS Batch crea una entrada de acceso para el AWSServiceRoleForBatch rol vinculado a un servicio en su clúster. En el siguiente paso, concederás esos permisos de entrada de acceso en tu espacio de nombres.

$ cat <<EOF > ./batch-eks-compute-environment.json { "computeEnvironmentName": "My-Eks-CE1", "type": "MANAGED", "state": "ENABLED", "eksConfiguration": { "eksClusterArn": "arn:aws:eks:region-code:your-account-number:cluster/my-cluster-name", "kubernetesNamespace": "my-aws-batch-namespace", "accessEntry": { "desiredState": "ENABLED" } }, "computeResources": { "type": "EC2", "allocationStrategy": "BEST_FIT_PROGRESSIVE", "minvCpus": 0, "maxvCpus": 128, "instanceTypes": [ "m5" ], "subnets": [ "<eks-cluster-subnets-with-access-to-internet-for-image-pull>" ], "securityGroupIds": [ "<eks-cluster-sg>" ], "instanceRole": "<eks-instance-profile>" } } EOF
$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json
Notas

Paso 3a: Asociar la política de espacio de nombres

Tras crear el entorno informático con accessEntry.desiredState=ENABLED, AWS Batch crea una entrada de acceso a nivel de clúster. A continuación, debe asociar el ámbito del espacio de nombres AWSBatchNamespacePolicy conceder AWS Batch permiso para crear y administrar pods en tu espacio de nombres.

importante

Sin la asociación de políticas que abarque el espacio de nombres, los trabajos permanecerán atrapados RUNNABLE estado. La política a nivel de clúster por sí sola no otorga permisos de administración de pods.

  1. Espere a que se active la entrada de acceso

    Compruebe el estado de la entrada de acceso:

    $ aws batch describe-compute-environments \ --compute-environments My-Eks-CE1 \ --query 'computeEnvironments[0].eksConfiguration.accessEntry.status' \ --output text

    Salida cuando esté lista:

    ACTIVE

    Un ACTIVE estado significa que AWS Batch creó la entrada de acceso en su clúster y puede asociarle la política de espacio de nombres. Si el estado es INACTIVE, espere un momento e inténtelo de nuevo. No continúe hasta que el estado sea ACTIVE.

  2. Asocie la política de espacio de nombres

    Una vez que la entrada de acceso esté ACTIVE, asocie la política con ámbito de espacio de nombres:

    $ aws eks associate-access-policy \ --cluster-name my-cluster-name \ --principal-arn arn:aws:iam::your-account-number:role/aws-service-role/batch.amazonaws.com/AWSServiceRoleForBatch \ --policy-arn arn:aws:eks::aws:cluster-access-policy/AWSBatchNamespacePolicy \ --access-scope type=namespace,namespaces=my-aws-batch-namespace

    Salida:

    { "clusterName": "my-cluster-name", "principalArn": "arn:aws:iam::123456789012:role/aws-service-role/batch.amazonaws.com/AWSServiceRoleForBatch", "associatedAccessPolicy": { "policyArn": "arn:aws:eks::aws:cluster-access-policy/AWSBatchNamespacePolicy", "accessScope": { "type": "namespace", "namespaces": [ "my-aws-batch-namespace" ] }, "associatedAt": "2024-01-15T10:30:00.000000-08:00", "modifiedAt": "2024-01-15T10:30:00.000000-08:00" } }

Paso 4: Cree una cola de trabajos y adjunte el entorno informático

importante

Es importante confirmar que el entorno de computación está en buen estado antes de continuar. El DescribeComputeEnvironments La operación de la API se puede usar para hacer esto.

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

Confirme que el parámetro status no es INVALID. Si es así, busque la causa en el parámetro statusReason. Para obtener más información, consulte Resolución de problemas AWS Batch.

Los trabajos enviados a esta nueva cola de trabajos se ejecutan como pods en AWS Batch nodos gestionados que se unieron al clúster de Amazon EKS asociado a su entorno informático.

$ cat <<EOF > ./batch-eks-job-queue.json { "jobQueueName": "My-Eks-JQ1", "priority": 10, "computeEnvironmentOrder": [ { "order": 1, "computeEnvironment": "My-Eks-CE1" } ] } EOF
$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

Paso 5: Crear una definición de trabajo

La siguiente definición de trabajo le indica al pod que permanezca en espera durante 60 segundos.

$ cat <<EOF > ./batch-eks-job-definition.json { "jobDefinitionName": "MyJobOnEks_Sleep", "type": "container", "eksProperties": { "podProperties": { "hostNetwork": true, "containers": [ { "image": "public.ecr.aws/amazonlinux/amazonlinux:2", "command": [ "sleep", "60" ], "resources": { "limits": { "cpu": "1", "memory": "1024Mi" } } } ], "metadata": { "labels": { "environment": "test" } } } } } EOF
$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json
Notas

Paso 6: Presentar un trabajo

Ejecute lo siguiente AWS CLI comando para enviar un nuevo trabajo.

$ aws batch submit-job --job-queue My-Eks-JQ1 \ --job-definition MyJobOnEks_Sleep --job-name My-Eks-Job1

Cómo comprobar el estado de un trabajo:

$ aws batch describe-jobs --job <jobId-from-submit-response>
Notas
  • Para obtener más información sobre la ejecución de trabajos en recursos de Amazon EKS, consulte Trabajos de Amazon EKS.

Paso 7: Ver la salida del trabajo

Para ver la salida del trabajo, realice lo siguiente:

  1. Abra el AWS Batch consola en https://console.aws.amazon.com/batch/.

  2. En el panel de navegación, seleccione Trabajos.

  3. En el menú desplegable de Colas de trabajo, elija la cola de trabajos que creó para el tutorial.

  4. La tabla Trabajos muestra todos los trabajos y su estado actual. Una vez que el trabajo esté Estado es Tuvo éxito elige el Nombre del trabajo, My-Eks-Job1, para ver los detalles del trabajo.

  5. En el panel Detalles, las horas de Iniciado a las y Terminado a las deben estar separadas por un minuto.

Paso 8: (opcional) Enviar un trabajo con anulaciones

Este trabajo anula el comando pasado al contenedor. AWS Batch limpia agresivamente las cápsulas una vez finalizadas las tareas para reducir la carga a Kubernetes. Para examinar los detalles de un trabajo, se debe configurar el registro. Para obtener más información, consulte Utilice CloudWatch los registros para supervisar AWS Batch los trabajos de Amazon EKS.

$ cat <<EOF > ./submit-job-override.json { "jobName": "EksWithOverrides", "jobQueue": "My-Eks-JQ1", "jobDefinition": "MyJobOnEks_Sleep", "eksPropertiesOverride": { "podProperties": { "containers": [ { "command": [ "/bin/sh" ], "args": [ "-c", "echo hello world" ] } ] } } } EOF
$ aws batch submit-job --cli-input-json file://./submit-job-override.json
Notas

Para ver la salida del trabajo, realice lo siguiente:

  1. Abre el AWS Batch consola en https://console.aws.amazon.com/batch/.

  2. En el panel de navegación, seleccione Trabajos.

  3. En el menú desplegable de Colas de trabajo, elija la cola de trabajos que creó para el tutorial.

  4. La tabla Trabajos muestra todos los trabajos y su estado actual. Una vez que el Estado del trabajo sea Correcto, seleccione el Nombre del trabajo para consultar sus detalles.

  5. En el panel Detalles, elija el Nombre del flujo de registro. El CloudWatch Se abrirá la consola del trabajo y debería haber un evento con el Mensaje de hello world o tu mensaje personalizado.

Paso 9: Eliminar los recursos del tutorial

Se le cobrará por la instancia de Amazon EC2 mientras esté habilitada. Puede eliminar la instancia para dejar de generar cargos.

Para eliminar los recursos que usted creó, haga lo que se indica a continuación:

  1. Abre el AWS Batch consola en https://console.aws.amazon.com/batch/.

  2. En el panel de navegación, elija Cola de trabajos.

  3. En la tabla Cola de trabajos, elija la cola de trabajos que creó para el tutorial.

  4. Elija Deshabilitar. Una vez que el Estado de la cola de trabajos esté deshabilitado, puede elegir Eliminar.

  5. Una vez eliminada la cola de trabajos, configure accessEntry.desiredState a DISABLED en el entorno informático para que AWS Batch elimina la entrada de acceso que creó en su clúster:

    $ aws batch update-compute-environment \ --compute-environment My-Eks-CE1 \ --eks-configuration 'accessEntry={desiredState=DISABLED}'
    importante

    Debe configurar desiredState a DISABLED antes de eliminar el entorno informático. La eliminación de un entorno informático no elimina la entrada de acceso, incluso si es la última AWS Batch entorno informático del clúster. Si es otro AWS Batch los entornos informáticos tienen como objetivo el mismo clúster, AWS Batch elimina la entrada de acceso solo después de que cada uno de ellos haya desiredState establecido en DISABLED. Para obtener más información, consulte Qué AWS Batch crea en tu clúster.

    Estado esperado después de deshabilitar la entrada de acceso

    Después AWS Batch elimina la entrada de acceso, la del entorno informático Estado cambia a INVALID con un motivo de estado de Unable to validate Kubernetes Namespace. Esto se espera porque AWS Batch ya no tiene acceso a su clúster. Aún puedes deshabilitar y eliminar el entorno de procesamiento.

  6. En el panel de navegación, elija Entornos informáticos.

  7. Elija el entorno de computación que creó para este tutorial y, a continuación, elija Deshabilitar. La desactivación del entorno informático puede tardar entre 1 y 2 minutos en completarse.

  8. Una vez que el Estado del entorno de computación esté deshabilitado, seleccione Eliminar. La eliminación del entorno informático puede tardar entre 1 y 2 minutos.

Recursos adicionales

Después de completar el tutorial, recomendamos consultar alguno de los siguientes temas: